자동코드 셰르파: AI 코딩 에이전트를 위한 실행 가능한 심볼릭 버그 설명

초록

AutoCodeSherpa는 버그를 입력·감염·출력 조건이라는 세 가지 심볼릭 공식으로 설명한다. 입력 조건은 버그를 유발하는 입력 공간을, 감염 조건은 내부 오류 상태를, 출력 조건은 관측 가능한 증상을 정의한다. 이 공식은 속성 기반 테스트(PBT)와 프로그램 내부 심볼릭 표현을 결합해 자동으로 생성·검증되며, 실제 실험에서 85 % 이상의 정확도를 보였다. 생성된 설명은 패치 검증에 활용돼 잘못된 패치를 두 배 이상 걸러낼 수 있고, 다른 코딩 에이전트(예: Agentless)의 패치 생성 성공률을 60 % 이상 향상시킨다.

상세 분석

AutoCodeSherpa는 기존 LLM 기반 코딩 에이전트가 제공하는 자연어 설명의 한계를 극복하고, 실행 가능한 심볼릭 설명을 자동으로 생성한다는 점에서 혁신적이다. 논문은 소프트웨어 결함 분석에서 널리 쓰이는 RIP(Reachability‑Infection‑Propagation) 모델을 차용해, 버그를 ‘입력 조건(I)’, ‘감염 조건(F)’, ‘출력 조건(O)’ 세 요소로 구조화한다. 이 세 조건은 Hoare 삼중항 {I} P {O} 형태로 정형화되며, 부분적 정확성을 검증한다.

입력·출력 조건은 속성 기반 테스트(PBT)를 통해 추출한다. PBT는 가설적인 입력 집합을 자동 생성하고, 해당 입력에 대해 프로그램을 실행해 사전·사후 조건을 검증한다. 이를 통해 버그가 발생하는 입력 영역을 일반화된 테스트 코드 형태로 표현한다. 감염 조건은 프로그램 내부 상태를 탐색하는 별도 LLM 에이전트가 생성한다. 이 에이전트는 코드 탐색 결과와 실행 트레이스를 기반으로, 버그가 발생했을 때 특정 변수나 객체가 가질 수 있는 비정상적인 값(예: 함수 객체가 반환값 대신 표현식으로 남는 경우)을 심볼릭 식으로 서술한다.

핵심적인 설계는 ‘다중 에이전트 파이프라인’이다. 첫 번째 에이전트는 이슈 설명과 버그 코드를 입력받아 PBT를 생성하고, 두 번째 에이전트는 코드베이스를 탐색해 관련 변수·함수 정보를 수집한다. 세 번째 에이전트는 앞선 두 단계의 결과를 종합해 감염 조건을 합성한다. 각 단계마다 LLM 출력에 대해 정형화된 검증·리파인먼트 절차를 적용해 정확도를 높인다.

실험에서는 SonarQube에서 추출한 실제 정적 분석 이슈를 대상으로 3,000여 건의 설명을 생성했으며, 입력·감염·출력 조건 각각 85.7 %, 79.7 %, 79.0 %의 정확도를 기록했다. 특히, 생성된 PBT를 패치에 적용해 자동 검증을 수행했을 때, 기존 베이스라인(예: SpecRover)보다 123 % 더 많은 잘못된 패치를 걸러냈다. 또한, Agentless와 같은 최소 자율성을 가진 코딩 에이전트에 이 심볼릭 설명을 제공했을 때, ‘가능성 있는 패치(plausible patch)’ 생성 비율이 60.7 % 상승하는 효과를 보였다. LLM 종류를 바꿔도 설명 정확도가 크게 변하지 않아 모델 독립적인 일반성을 입증했다.

이러한 접근은 두 가지 중요한 시사점을 제공한다. 첫째, 심볼릭 설명 자체가 실행 가능하므로 자동화된 패치 검증 파이프라인에 바로 삽입할 수 있다. 둘째, 다른 에이전트가 버그 원인을 정량적·정형적으로 이해함으로써, 보다 정밀하고 안전한 코드 수정을 수행하도록 돕는다. 다만, 현재는 감염 조건을 추출할 때 프로그램 내부 흐름을 완전히 파악하지 못해 복잡한 상호 의존성이나 비결정적 행동을 놓칠 가능성이 있다. 향후 정적 분석 도구와의 연계, 더 정교한 심볼릭 실행 엔진 도입이 필요하다.