소음제거를위한이중대형언어모델정책

초록

본 논문은 에이전트 기반 자동 프로그램 수리(APR) 시스템에서 개발자에게 보여지는 불필요한 패치를 줄이기 위해 두 가지 LLM 기반 정책을 제안한다. 첫 번째는 버그 보고만을 이용해 수리가 성공할 가능성이 낮은 버그를 사전에 제외하는 버그 중단(Abstention) 정책이며, 두 번째는 생성된 패치를 다단계 검증(테스트, 빌드, LLM 판단)으로 올바른지 판단하는 패치 검증(Validation) 정책이다. 구글 코드베이스의 실제 버그 174개와 머신 생성 NPE·Sanitizer 버그에 적용한 결과, 각각 최대 13·15%p, 그리고 결합 시 최대 39%p까지 성공률을 향상시켰다.

상세 분석

이 연구는 산업 현장에서 자동화된 버그 수리 시스템이 실제 개발자에게 제공하는 가치와 효율성을 극대화하려는 실용적 목표를 갖는다. 기존 APR 연구는 pass@k와 같은 전체 성공률 지표에 집중했지만, 실제 배포 환경에서는 개발자가 검토해야 할 패치의 품질이 더 중요하다. 논문은 이를 해결하기 위해 두 단계의 필터링을 도입한다.

첫 번째 단계인 버그 중단(Abstention) 정책은 버그 보고서(제목, 설명, 메타데이터)만을 입력으로 LLM에게 “수리 성공 가능성”을 예측하도록 프롬프트한다. 모델은 성공/실패 토큰의 로그 확률을 이용해 확률 점수를 산출하고, 사전 정의된 임계값 τ와 비교해 수리 시도를 할지 말지를 결정한다. 여기서 중요한 점은 코드베이스 접근을 차단함으로써 정책 자체가 경량화되고, 수리 에이전트가 불필요한 실행을 하지 않게 함으로써 컴퓨팅 비용도 절감한다. 또한, 두 가지 버그 표현 방식(가이드라인 포함/미포함)을 실험해 LLM 프롬프트 설계가 성능에 미치는 영향을 조사한다.

두 번째 단계인 패치 검증(Validation) 정책은 생성된 패치를 다중 검증 파이프라인에 통과시킨다. 먼저 빌드·테스트 회귀 검사를 수행해 명백히 실패하는 패치를 걸러내고, 이후 LLM을 활용해 “수정 사양(Fix Specification)”을 자동 생성한다. 이 사양은 버그 설명과 에이전트가 수정한 파일 내용을 기반으로 LLM이 만든 진단·예상 속성 목록이다. 이어서 두 번째 LLM 호출이 사양과 실제 패치, 테스트 결과를 종합해 “정답/오답” 판단, 설명, 신뢰 점수를 출력한다. 여기서 신뢰 점수는 토큰 로그 확률의 지수 형태로 정의돼, 확률적 판단을 정량화한다.

실험은 세 가지 버그 집합(인간 보고 버그 174개, 머신 보고 NPE 198개, Sanitizer 버그 50개)에서 수행되었다. 인간 보고 버그에 대해 기본 fail‑to‑pass@1이 0.11이었으나, 버그 중단만 적용했을 때 0.21, 패치 검증만 적용했을 때 0.29로 상승했으며, 두 정책을 결합한 경우 0.35~0.53까지 크게 향상되었다. 머신 보고 버그에서는 패치 검증만으로도 accept@1이 0.38→0.62(NPE) 등 눈에 띄는 개선을 보였다.

핵심 인사이트는 두 정책이 상호 보완적이라는 점이다. 버그 중단은 사전 필터링으로 불필요한 수리 시도를 차단하고, 패치 검증은 실제 생성된 패치의 품질을 평가한다. 특히, 중단 단계가 없으면 검증 정책이 잘못된 패치를 긍정적으로 받아들일 위험이 존재한다. 또한, LLM 기반 판단이 기존 테스트 기반 검증을 넘어선 의미론적 일관성을 평가할 수 있음을 실증한다.

한계점으로는 LLM의 확률이 실제 성공률과 완전히 일치하지 않을 수 있다는 점, 그리고 사양 생성 단계에서 LLM이 잘못된 기준을 제시할 경우 검증이 오히려 오류를 유발할 가능성이 있다. 향후 연구에서는 확률 보정(calibration) 기법과 사양 자동 검증 메커니즘을 도입해 신뢰성을 높이는 방안을 모색할 수 있다.

전반적으로 이 논문은 산업 규모 APR 시스템의 실용성을 크게 높이는 두 단계 필터링 프레임워크를 제시하며, LLM을 단순 생성 도구가 아니라 판단·필터링 도구로 활용하는 새로운 패러다임을 제시한다.