버그 유발 커밋 탐색, 블레임을 넘어 지식 그래프와 에이전트로 재구성

초록

본 논문은 기존 SZZ 기반 버그 유발 커밋(BIC) 탐색이 git blame에 의존해 후보 범위를 제한하는 문제를 지적한다. 2,102개의 검증된 버그 수정 커밋을 분석한 결과, 40% 이상이 blame만으로는 찾을 수 없으며, 28%는 blame 결과를 넘어선 커밋을 탐색해야 하고 14%는 blame 자체가 불가능한 경우였다. 이를 해결하기 위해 Temporal Knowledge Graph(TKG)를 구축하고, LLM 에이전트가 그래프를 탐색하도록 설계한 AgenticSZZ를 제안한다. 세 데이터셋에서 F1 0.48~0.74를 달성했으며, 기존 최첨단 방법 대비 최대 27% 향상되었다. TKG는 시간적·구조적 관계를 포괄해 탐색 범위를 넓히고, 에이전트는 인텔리전트하게 후보를 선택한다는 탐색‑활용(trade‑off) 구조를 보여준다.

상세 분석

AgenticSZZ는 기존 SZZ가 “블레임 → 후보 리스트 → 순위 매김”이라는 정적 검색에 머무는 한계를 근본적으로 바꾸어, “시간적 지식 그래프 위에서의 탐색” 문제로 재정의한다. 논문은 먼저 2,102개의 BFC‑BIC 쌍을 대상으로 블레임 결과와 실제 BIC 위치를 비교해 다섯 가지 카테고리(Blame, Blame Ancestor, BFC Ancestor, Blameless, Unreachable)를 정의하고, 각각의 비중을 정량화한다. 특히 Blame Ancestor(10.3%)와 BFC Ancestor(17.7%)가 차지하는 비율이 전체의 28%에 달함을 밝혀, 단순 블레임만으로는 절반 이상의 버그 원인을 포착하지 못한다는 점을 실증한다.

TKG 구축 단계에서는 커밋을 노드로, 시간 순서(edge: precedes), 파일·함수 공유(edge: co‑modifies), 저자·태그 등 구조적 관계를 추가한다. 두 개의 시작점—블레임 결과와 버그 수정 커밋(BFC)—을 기준으로 파일 히스토리를 역방향으로 탐색해 후보 집합을 확장한다. 이때 파일‑스코프 탐색을 사용해 전체 커밋 그래프(수십만~백만 개) 대신 동일 파일을 수정한 커밋만을 대상으로 하여 탐색 비용을 크게 낮춘다.

두 번째 단계인 Agentic BIC Search에서는 LLM 기반 에이전트가 네 가지 도구(후보 열거, 구조적 트래버설, 속성 질의, 인과 분석)를 호출한다. 에이전트는 “이 커밋이 왜 버그를 도입했을 가능성이 높은가?”를 질문형식으로 전환해, 코드 변화의 의미와 시간적 선후관을 고려해 후보를 순차적으로 좁힌다. 예를 들어, 특정 함수 로직이 변경된 커밋이 이후에 해당 함수가 호출된 부분에서 버그가 발생했다면, 에이전트는 해당 커밋을 높은 점수로 부여한다.

실험에서는 LLM4SZZ, SZZ 변형(Refactoring‑aware, DeepLearning‑based 등) 8개 베이스라인과 비교했으며, 전체 데이터셋에서 평균 F1 0.61을 기록, 최고 0.74까지 도달했다. 통계적 유의성 검증(p<0.01)과 함께, Ablation Study를 통해 TKG만 사용했을 때는 노이즈가 많아 성능이 급락하고, 에이전트만 사용했을 때는 블레임 후보에 국한돼 성능이 제한됨을 확인했다. 이는 탐색 범위 확대(TKG)와 후보 선택 최적화(Agent) 사이의 고전적 탐색‑활용 트레이드오프를 실증한다.

또한, 논문은 TKG가 시간적 인과 관계를 명시적으로 모델링함으로써 “버그 도입은 언제, 어떤 코드 흐름을 통해 발생했는가”라는 질문에 답할 수 있는 기반을 제공한다는 점을 강조한다. 이는 향후 버그 예측, 자동 패치 생성, 리팩터링 위험도 평가 등 다양한 SE 작업에 확장 가능성을 시사한다. 마지막으로, 블레임이 불가능한 14% 사례에 대해 컨텍스트 라인(blame 주변 2줄) 기반 보조 전략을 제안했지만, 여전히 한계가 남아 있어 더 정교한 그래프 구조(예: 테스트 실행 결과와 연계)와 멀티‑모달 LLM 통합이 필요함을 언급한다.