LLPut 대규모 언어 모델을 활용한 버그 보고서 기반 입력 자동 생성 연구

초록

본 논문은 Linux coreutils 버그 보고서에 포함된 재현 입력을 자동으로 추출하기 위해, 오픈소스 생성형 LLM인 LLaMA, Qwen, Qwen‑Coder를 평가한다. 206개의 주석 달린 버그 보고서를 구축하고, BERT 기반 토큰 분류와 제로·원샷 프롬프트를 이용한 LLM 실험을 진행한다. BLEU‑2 점수를 기준으로 Qwen이 가장 높은 성능을 보였으며, 기존 BERT 방법은 데이터 규모와 복잡한 명령 구조 때문에 낮은 정확도를 나타냈다.

상세 분석

LLPut 연구는 버그 보고서에 포함된 실패 유발 입력을 자동으로 추출하는 문제를 정의하고, 이를 해결하기 위한 두 단계의 파이프라인을 제시한다. 첫 번째 단계는 Linux coreutils 프로젝트의 Bugzilla에서 779개의 버그 보고서를 수집하고, 중복·릴리스 공지 등을 제거한 뒤 753개의 정제된 보고서를 확보한다. 이후 무작위로 250개를 선정해 두 명의 연구자가 상세히 주석을 달았으며, 실제 명령이 존재하는 149개, 존재하지 않거나 불명확한 57개를 구분해 최종 실험용 데이터셋 206개를 구성한다.

두 번째 단계에서는 두 종류의 모델을 비교한다. 기존 NLP 접근법으로 BERT‑base‑uncased를 토큰 분류 형태로 미세조정했지만, 학습 데이터가 부족하고 명령어가 다중 라인 혹은 서술형 텍스트에 섞여 있는 경우를 제대로 포착하지 못해 BLEU‑2 점수가 0.5 이상인 경우가 3.33%에 불과했다. 이는 명령어 추출이 단순 텍스트 라벨링보다 복합적인 의미 해석을 요구함을 보여준다.

생성형 LLM 실험에서는 동일한 프롬프트를 사용해 제로샷과 원샷 두 가지 설정을 비교했으며, 온샷이 보다 구조화된 출력을 유도한다는 사전 관찰에 따라 최종 실험에 적용하였다. 모델은 Ollama 플랫폼을 통해 온도 0으로 고정해 재현성을 확보했으며, LLaMA‑3.3‑70B, Qwen2.5‑32B‑instruct, Qwen2.5‑coder‑32B를 대상으로 명령어 추출을 수행했다. 평가 지표는 인간 주석과의 n‑gram 겹침을 측정하는 BLEU‑2 점수를 채택했으며, 빈 문자열 매칭은 완벽 일치로 처리하였다. 실험 결과 Qwen이 평균 BLEU‑2 점수에서 가장 높은 값을 기록했고, LLaMA와 Qwen‑Coder는 비슷한 수준이었지만 전체적으로는 BERT 대비 현저히 우수한 성능을 보였다.

이 연구는 (1) 버그 보고서에서 명령어를 추출하는 작업이 기존 토큰 분류 방식으로는 한계가 있음을, (2) 대규모 사전 학습된 생성형 LLM이 최소한의 프롬프트만으로도 의미적 정확성을 확보할 수 있음을, (3) 모델별 성능 차이는 프롬프트 이해와 코드‑특화 사전 학습 여부에 크게 의존한다는 점을 시사한다. 또한 데이터셋 규모와 다양성 부족, BLEU 점수의 의미론적 한계, 실제 실행 가능한 명령어 검증 부재 등 여러 제한점도 명확히 드러난다. 향후 연구에서는 다양한 프로젝트와 언어를 포괄하는 대규모 버그 보고서 데이터베이스 구축, 명령어 실행 가능성 검증을 위한 자동 테스트 프레임워크 도입, 그리고 LLM의 출력 품질을 평가하기 위한 기능 기반 메트릭 개발이 필요하다.