다중언어·레포지터리 수준 자동 코드 리뷰 벤치마크 AACR‑Bench

초록

AACR‑Bench는 10개 주요 프로그래밍 언어와 전체 레포지터리 의존성을 포함한 200개의 PR을 기반으로, AI‑보조·전문가 검증 과정을 거쳐 1,505개의 정밀 리뷰 코멘트를 제공한다. 기존 PR 코멘트만을 사용한 벤치마크와 달리 결함 커버리지를 285 % 확대했으며, 다양한 LLM과 검색·에이전트 기법의 성능 차이를 정량적으로 평가한다.

상세 분석

본 논문은 자동 코드 리뷰(ACR) 평가에 두 가지 근본적인 결함—(1) 단일 언어·파일 수준에 머무는 컨텍스트 제한, (2) 원시 PR 코멘트에 의존한 불완전한 라벨링—을 명확히 지적한다. 이를 해결하기 위해 제안된 AACR‑Bench는 다음과 같은 기술적 혁신을 담는다.

1. 다중언어·레포지터리 수준 컨텍스트: StackOverflow 2025 개발자 설문을 기반으로 선정된 JavaScript, Python, TypeScript, Java, C#, C++, C, PHP, Go, Rust 10개 언어의 상위 5개 레포지터리씩(총 50개)에서 PR을 추출한다. 각 PR은 1,000줄 이하의 변경으로 제한해 실제 기업 코드 리뷰 흐름을 모사한다.

2. AI‑보조·전문가 검증 파이프라인: 6개 최신 LLM(Claude‑4.5‑Sonnet, Qwen‑480B‑Coder, GPT‑5.2, DeepSeek‑V3.2, GLM‑4.7, Gemini‑3‑Pro)으로 기존 리뷰 코멘트를 보강·생성하고, 80명의 시니어 엔지니어가 최소 2인씩 독립 검증한다. 라벨 불일치는 6인 코어 팀이 토론해 해결한다. 이 과정에서 ‘증강 리뷰 코멘트(augmented)’와 ‘모델 생성 코멘트(generated)’를 구분하고, 각 코멘트가 요구하는 컨텍스트 레벨(Diff, File, Repo)까지 메타데이터화했다.

3. 정밀 라벨링 및 커버리지 확대: 기존 391개의 원시 코멘트에 추가로 1,114개의 라벨을 부여해 총 1,505개의 결함을 확보했으며, 이는 기존 벤치마크 대비 285 % 증가한다. 라벨은 버그, 스타일, 보안, 성능 등 8가지 카테고리로 분류돼 다각적 평가가 가능하다.

4. 다양한 검색·컨텍스트 제공 방식 실험: No‑Context, BM25, Embedding(Qwen‑Embedding‑8B), Agent‑based(Claude Code) 네 가지 방법을 동일하게 3개의 코드 스니펫을 반환하도록 설정해 비교했다. 결과는 LLM마다 최적의 검색 전략이 다르며, 특히 고성능 모델일수록 레포지터리 전체 메타데이터를 활용한 Agent 방식에서 F1 점수가 크게 상승한다는 점을 보여준다.

5. 평가 메트릭: Precision, Recall, F1을 PR 단위로 집계하고, 컨텍스트 레벨별( Diff/ File/ Repo) 성능 차이를 별도 보고한다. 이는 모델이 어느 수준의 정보까지 필요로 하는지를 정량화해, 향후 ACR 시스템 설계 시 컨텍스트 선택 가이드라인을 제공한다.

전체적으로 AACR‑Bench는 기존 평가의 편향을 최소화하고, 실제 산업 현장에서 요구되는 다언어·다레포지터리 상황을 재현함으로써 LLM 기반 ACR 연구의 신뢰성을 크게 높인다. 또한, “컨텍스트 깊이와 검색 방법이 모델·언어·아키텍처에 따라 상호작용한다”는 새로운 인사이트를 제공해, 향후 에이전트 기반 코드 리뷰 시스템 설계에 중요한 방향성을 제시한다.