계층형 지식 주입으로 LLM 기반 자동 프로그램 수리 성능 극대화

초록

버그 수정을 위해 LLM에 단계별로 버그, 저장소, 프로젝트 수준의 구조화된 컨텍스트를 순차적으로 주입하면, Llama 3.3 기준 79%(250/314)의 고정률을 달성한다. 레포지토리 수준 지식이 모든 버그 유형에 효과적이며, 프로젝트 수준 지식은 프로그램 이상, GUI, 네트워크 버그에 추가적인 이점을 제공한다.

상세 분석

본 논문은 LLM 기반 자동 프로그램 수리(Automated Program Repair, APR)에서 “지식 주입(Knowledge Injection)”이라는 새로운 프레임워크를 제안한다. 기존 연구는 오류 메시지·스택 트레이스 등 로컬 버그 정보만을 프롬프트에 포함시켰지만, 실제 개발자는 동일한 레포지토리 내 다른 파일, 의존 관계, 커밋 히스토리, 프로젝트 문서 등 광범위한 컨텍스트를 활용한다는 점을 강조한다. 이를 반영하기 위해 저자들은 세 개의 계층을 정의한다.

1️⃣ Bug Knowledge Layer – 버그가 발생한 함수, 실패 테스트, 에러 메시지, 런타임 변수 등 전통적인 “버그 사실”을 구조화된 형태로 제공한다. 이 단계만으로도 Llama 3.3은 65%(207/314)의 버그를 해결했으며, 이는 기존 최첨단(56%)보다 크게 앞선다.

2️⃣ Repository Knowledge Layer – 해결되지 않은 버그에 대해 동일 레포지토리의 구조적 의존성(함수·클래스 호출 그래프), 공동 커밋 파일, 최근 커밋 로그 등을 추가한다. 이 계층을 적용하면 전체 고정률이 74%(235/314)로 9% 상승한다. 특히, 복수 파일에 걸친 버그나 의존성 오류가 많은 경우(예: Config, Permission) 큰 효과를 보인다.

3️⃣ Project Knowledge Layer – 프로젝트 수준 문서, API 가이드, 이전에 해결된 유사 버그 사례 등을 삽입한다. 최종 고정률은 79%(250/314)로 5% 추가 향상한다. 흥미롭게도, 이 계층은 Program Anomaly, GUI, Network 버그에만 뚜렷한 이득을 제공했으며, 다른 유형(예: Configuration, Permission)에서는 한계가 있었다.

실험은 BugsInPy 데이터셋(314개 파이썬 버그)과 두 종류의 LLM(Llama 3.3, GPT‑4o‑mini)을 사용했으며, 각 계층별 효과를 정량화했다. 또한 “All‑at‑once” 방식(모든 정보를 한 번에 주입)과 기존 Fact‑Selection 모델(Parasaram et al.)을 베이스라인으로 삼아, 단계적 주입이 토큰 효율성과 성능 모두에서 우수함을 입증했다.

오류 분석 결과, 남은 64개의 미해결 버그는 구조적으로 고립된 복잡도(예: 프로그램 이상, GUI)와 런타임 행동(사용자 인터페이스, 비동기 흐름) 추론이 요구되는 경우가 많았다. 이는 현재 LLM이 정적 코드와 제한된 실행 정보만으로는 충분히 추론하지 못함을 시사한다.

핵심 인사이트는 다음과 같다.

• 계층적 컨텍스트 제공은 토큰 제한이 있는 모델에서도 효율적이며, 필요 시에만 추가 정보를 투입함으로써 비용을 최소화한다.
• 버그 유형별 맞춤형 지식이 필요하다. 모든 버그에 동일한 컨텍스트를 제공하면 오히려 잡음이 될 수 있다.
• 레포지토리 수준 지식은 대부분의 버그에 필수적이며, 프로젝트 수준 지식은 특정 복합 버그에만 효과적이다.
• 현재 LLM은 동적 실행 흐름과 사용자 인터페이스와 같은 비정형 컨텍스트를 이해하는 데 한계가 있다. 향후 인터랙티브 APR 시스템(예: 리플렉션 기반 실행 정보 수집, 개발자‑LLM 협업 루프) 도입이 필요하다.

이러한 결과는 LLM 기반 APR이 단순 “코드 → 패치”를 넘어, 지식 기반 추론으로 진화해야 함을 강조한다.