대형 언어 모델을 활용한 소프트웨어 문서화 및 모델링 연구

초록

본 논문은 2024‑2025년 사이 IEEE TSE, TOSEM, EMSE, ICSE에 발표된 57편의 논문을 대상으로, 대형 언어 모델(LLM)이 소프트웨어 문서화와 모델링 작업에 어떻게 활용되는지를 체계적으로 조사한다. 작업을 11개의 카테고리(커밋 메시지 생성, 이슈 트래커 활용, StackOverflow 제목·태그 생성 등)로 구분하고, 프롬프트 기법, 사용 데이터셋, 평가 지표 및 인간 평가 방식을 정리한다. 대부분의 연구가 제로샷 프롬프트와 프롬프트 없는 모델을 사용했으며, BLEU·ROUGE·F1 등 전통적인 텍스트·분류 지표와 인간 설문을 병행한다. 결과적으로 LLM 기반 접근법이 기존 최첨단을 대체하거나 개선했지만, 멀티에이전트 시스템 등 고급 활용은 아직 초기 단계임을 확인한다.

상세 분석

본 리뷰는 LLM4SE 분야에서 특히 소프트웨어 문서화와 모델링에 초점을 맞춘다. 먼저, 저자들은 IEEE Transactions on Software Engineering, ACM TOSEM, Empirical Software Engineering, International Conference on Software Engineering 네 개의 주요 학술지를 선정하고, 2024‑2025년 발표된 논문을 전수 조사하였다. 키워드 검색(LLM, language model, GPT, BERT 등)과 제목·초록 검토를 거쳐 57편을 최종 선정했으며, 코드 요약, 커밋 메시지 생성, 이슈 트래커 분류, StackOverflow 제목·태그 생성, 감성·감정 분석, 소스 코드 분석, 보안, 요구사항 공학, 기술 문서 분석, 소프트웨어 모델링 등 11개의 작업군으로 분류하였다.

각 작업군별로 사용된 프롬프트 기법을 살펴보면, 제로샷 프롬프트가 가장 흔했으며, 이는 실제 개발 현장에서 API 호출 비용을 최소화하려는 실용적 이유와 연관된다. 몇몇 연구는 몇 샷(few‑shot)이나 체인‑오브‑쓰루(chain‑of‑thought) 프롬프트를 도입해 성능 향상을 시도했지만, 비교 실험이 제한적이었다. 데이터셋 측면에서는 MCMD(커밋 메시지), CodeSearchNet·PCSD(코드 요약), GitHub Issues, StackOverflow Posts 등 공개 데이터와 연구팀 자체 수집 데이터가 혼합되어 사용되었다.

평가 지표는 작업 특성에 따라 달라졌다. 분류 작업은 정확도·정밀도·재현율·F1, ROC‑AUC 등을 활용했고, 텍스트 생성 작업은 BLEU, ROUGE, METEOR, 그리고 최근에는 BERTScore·SIDE와 같은 의미론적 유사도 지표가 보조적으로 사용되었다. 인간 평가에서는 전문가·학생·혼합 그룹을 대상으로 2명에서 42명까지 다양한 규모의 설문이 진행되었으며, 일반적으로 3~5명의 평가자가 충분히 신뢰할 수 있는 결과를 도출한다는 점이 강조되었다.

주요 결과는 LLM 기반 접근법이 기존 전통적 방법이나 특화된 모델보다 전반적으로 우수한 성능을 보였다는 것이다. 예를 들어, 커밋 메시지 생성에서는 KADE·CommitBART·OMEGA와 같은 특화 모델보다 GPT‑4 기반 제로샷이 높은 ROUGE 점수를 기록했으며, StackOverflow 제목·태그 생성에서도 CodeT5 기반 파인튜닝 모델보다 프롬프트만으로도 경쟁력을 확보했다. 그러나 멀티에이전트 시스템, 도메인‑특화 언어 모델, 그리고 모델링 단계 전반에 걸친 통합 파이프라인 등은 아직 연구가 부족한 영역으로 남아 있다.

한계점으로는 조사 대상이 4개 학술지와 2년간의 논문에 국한돼 최신 arXiv 프리프린트나 산업 현장 적용 사례가 누락될 가능성이 있다. 또한, 프롬프트 설계와 데이터 전처리 과정이 상세히 기술되지 않은 경우가 많아 재현성에 제약이 있다. 향후 연구는 멀티모달 입력(코드·다이어그램·문서) 통합, 지속적인 인간‑인공지능 협업 워크플로우, 그리고 LLM의 비용·환경 영향을 고려한 효율적 활용 방안을 탐구해야 할 것이다.