에이전트 기반 프로그램 수리에서 버그 재현 테스트 동시 생성

초록

본 논문은 버그 수정과 버그 재현 테스트(BRT)를 하나의 패치에 동시에 생성하는 ‘코제너레이션’ 방식을 연구한다. 구글 내부 120개의 실제 버그를 대상으로 TDD(테스트‑주도 개발), TLD(테스트‑후 개발), 자유형(Freeform) 세 가지 전략을 비교하고, 테스트 정보를 활용한 패치 선택기를 설계·평가한다. 결과적으로 코제너레이션이 전용 BRT 생성기와 동등하거나 더 높은 성공률을 보이며, 수정 패치의 품질을 저하시키지 않음을 입증한다.

상세 분석

이 연구는 기존 자동 프로그램 수리(APR) 시스템이 수정 코드와 테스트 코드를 별도 파이프라인에서 생성하거나, 테스트를 전혀 포함하지 않는 경우가 많다는 점을 문제시한다. 실제 현업에서는 개발자가 패치를 제출할 때 버그 재현 테스트를 함께 제공하길 기대한다는 점을 발견하고, 이를 AI 기반 APR 에이전트에 통합하는 방안을 탐색한다.

먼저 논문은 인간 개발자의 작업 흐름을 모델링해 세 가지 코제너레이션 전략을 정의한다. TDD는 버그를 재현하는 테스트를 먼저 작성하고, 그 테스트가 실패함을 확인한 뒤 수정 코드를 만든다. TLD는 먼저 수정 코드를 작성하고, 이후 그 수정이 정상 동작함을 검증하기 위해 테스트를 만든다. Freeform은 에이전트가 상황에 따라 자유롭게 순서를 선택하도록 허용한다. 이러한 전략은 LLM 기반 에이전트인 Passerine에 시스템 프롬프트를 추가함으로써 구현된다.

실험은 구글 이슈 트래킹 시스템(GITS)에서 수집한 120개의 인간 보고 버그(6개 언어) 위에서 수행되었다. 각 버그에 대해 𝑀개의 병렬 트래젝터리를 실행해 최대 𝑀개의 패치를 생성하고, 기존의 빌드·테스트 리뷰어, 스멜 리뷰어, 사양 기반 LLM 리뷰어를 거쳐 필터링한다. 특히 BRT 품질을 평가하기 위해 별도의 BRT 리뷰어를 도입했으며, 이는 테스트가 버그를 실제로 재현하는지(실패 여부)와 수정 후 통과하는지를 검증한다.

핵심 성과는 다음과 같다. 첫째, 모든 코제너레이션 전략이 전용 Fix‑only 및 BRT‑only 에이전트와 비교해 동일하거나 더 높은 비율로 ‘plausible fix’와 ‘plausible BRT’를 생성했다. 특히 Freeform 전략이 가장 높은 성공률을 보였으며, 이는 에이전트가 상황에 맞게 테스트와 수정 순서를 조절할 때 효율성이 높아짐을 시사한다. 둘째, 코제너레이션이 에이전트의 행동 양식에 미치는 영향을 정량화했다. 예를 들어, TDD는 초기 테스트 작성 단계에서 루트 원인 분석을 강화하고, TLD는 수정 후 테스트 작성 단계에서 코드 변경량을 최소화하는 경향을 보였다. 셋째, 테스트 정보를 활용한 ‘test‑aware patch selector’를 설계해 기존의 테스트 무시 선택기보다 플래시(precision)와 리콜(recall) 모두 크게 향상시켰다. 구체적으로, 플래시가 0.08→0.16, 리콜이 0.57→0.71으로 개선되었다. 이는 BRT 존재 여부가 수정 품질을 판단하는 유용한 신호임을 입증한다.

실패 사례 분석에서는 세 가지 주요 원인이 도출되었다. (1) 에이전트가 BRT를 임시 변경으로 간주하고 최종 패치에서 제거하는 경우, (2) 잘못된 디버깅 가설을 고수해 여러 단계에 걸쳐 오류를 확대하는 경우, (3) 수정과 테스트가 서로 과도하게 맞물려 오히려 원본 버그를 재현하지 못하는 경우이다. 이러한 원인은 프롬프트 설계, LLM 파라미터 튜닝, 그리고 에이전트의 단계별 검증 로직을 강화함으로써 완화될 수 있다.

전체적으로 이 논문은 ‘코제너레이션’이라는 새로운 패러다임을 제시함으로써, 자동화된 버그 수리 시스템이 인간 개발자와 동일한 작업 흐름을 모방하고, 유지보수 비용을 크게 절감할 수 있음을 실증한다. 또한 테스트‑중심 선택기와 실패 원인 분석을 통해 실제 프로덕션 환경에 바로 적용 가능한 설계 가이드라인을 제공한다.