결과조건 추론 증류를 통한 소프트웨어 버그 해결

초록

본 논문은 기존 LLM 기반 버그 수리 파이프라인이 매 이슈마다 새롭게 추론을 생성하는 비효율성을 지적하고, 검증된 패치를 활용해 역방향으로 추론 과정을 재구성하는 Outcome‑Conditioned Reasoning Distillation(O‑CRD) 프레임워크를 제안한다. O‑CRD는 저장소 내 과거 이슈와 패치를 검색·필터링한 뒤, 결과에 조건화된 단계별 수리 계획을 추출해 새로운 이슈 해결 시 인‑컨텍스트 가이드로 제공한다. SWE‑Bench Lite 실험에서 GPT‑4o, DeepSeek‑V3, GPT‑5 모두 Pass@1이 8~10% 상승했으며, 전통적 MCTS 기반 탐색 대비 9배 적은 LLM 호출과 2.5배 적은 토큰 사용으로 비용 효율성을 입증한다.

상세 분석

O‑CRD는 소프트웨어 버그 수리를 장기 의사결정 문제로 바라보고, 초기 로컬라이제이션 단계에서의 선택이 이후 패치 생성 전체 흐름을 제한한다는 점을 강조한다. 기존 방법들은 매 이슈마다 “reset‑and‑solve” 전략을 사용해 처음부터 전체 추론을 생성하거나, MCTS·반복 정제와 같은 전방 탐색을 통해 여러 후보 경로를 시도한다. 이러한 접근은 추론 비용이 크게 늘어나고, 최종 패치가 올바른지 확신하기 어려운 불확실성을 내포한다.

O‑CRD는 두 가지 핵심 아이디어를 결합한다. 첫째, 저장소 내 과거 이슈와 그에 대한 검증된 패치를 “결과”라는 강력한 제약조건으로 활용한다. 둘째, 이 결과를 역방향으로 조건화해 단계별 수리 로직을 재구성한다. 구체적으로는 (1) Repository‑Level Exemplar Mining 단계에서 동일 저장소 내 텍스트 유사도와 의미 정렬을 결합해 후보 이슈를 추출하고, 시계열적 누수를 방지하기 위해 타임스탬프 기준으로 사전 해결된 이슈만을 고려한다. (2) Exemplar Guardian 단계에서는 LLM‑기반 평가 루브릭을 적용해 ‘Root‑Cause Similarity’, ‘Causal‑Chain Transferability’, ‘Fix‑Strategy Applicability’, ‘Contextual Alignment’, ‘Debugging‑Technique Relevance’ 다섯 축을 점검한다. 여기서 낮은 점수 혹은 불확실성이 감지되면 보수적으로 해당 이슈를 폐기한다는 설계는 부정적 전이(negative transfer)를 효과적으로 차단한다. (3) Outcome‑Conditional Reasoning Distillation 단계에서는 Backward Reasoning Distillation(BRD)이라는 역방향 추론 기법을 도입한다. 모델은 기존의 순방향 토큰 예측 Pθ(ti|t< i) 대신, 이슈 설명 x와 검증된 패치 yk, 그리고 명시적 서브태스크 지시(guidance)를 조건으로 넣어 Pθ(ti|t< i, x, yk, guidance) 형태로 토큰을 생성한다. 이렇게 하면 모델이 전역적으로 올바른 결과와 일치하는 중간 단계만을 생성하도록 강제되어, 불필요한 추론 분기와 내부 모순을 크게 억제한다.

실험에서는 Agentless 프레임워크 위에 O‑CRD를 적용해 세 가지 LLM(GPT‑4o, DeepSeek‑V3, GPT‑5) 모두에서 Pass@1이 각각 10.4%, 8.6%, 10.3% 상승했다. 특히 MCTS 기반 전방 탐색 대비 13% 이상의 Pass@1 향상을 보이면서도 LLM 호출 횟수는 9.71배, 토큰 사용량은 2.47배 감소했다. 이는 결과조건화된 재사용이 비용 효율적인 추론 제어 수단임을 실증한다. 또한 로컬라이제이션 정확도 역시 개선돼, 초기 파일·함수 선택 단계에서의 오류가 감소함을 확인했다. 전체적으로 O‑CRD는 (1) 과거 수리 지식의 안전한 재사용, (2) 결과 기반 전역 제약을 통한 추론 일관성 확보, (3) 추가 파인튜닝·온라인 탐색 없이 인‑컨텍스트 가이드 제공이라는 세 축에서 기존 방법론을 뛰어넘는다.