AI 코딩 에이전트 유지보수성 평가를 위한 새로운 벤치마크 “Needle in the Repo”

본 논문은 AI 기반 코딩 에이전트가 기능적으로 올바른 코드를 생성하더라도 유지보수성을 손상시킬 위험을 정량적으로 평가할 수 있는 새로운 벤치마크인 “Needle in the Repo”(NITR)를 제안한다. 기존의 SWE‑bench, CodeXGLUE 등은 주로 테스트 통과 여부에 초점을 맞추어, 코드의 구조적 품질이나 장기적인 유지보수성을 간과한다는 비판을 받고 있다. 이를 보완하기 위해 저자들은 소프트웨어 엔지니어링 분야에서 널리 인정받는 설계 원칙(SOLID, DRY, 모듈성, 의존성 관리 등)을 기반으로 9개의 유지보수성 차원을 정의하고, 각 차원을 목표로 하는 21개의 C++ 레포지토리 프로브를 설계하였다. 각 프로브는 (1) 스타터 레포지토리와 작업 명세(TASK.md), (2) 숨겨진 기능 테스트, (3) 구조적 오라클이라는 세 부분으로 구성된다. 에이전트는 스타터 코드와 작업 명세만을 보고 수정안을 제시하고, 평가 시스템은 기능 테스트와 구조적 오라클을 동시에 통과해야만 해당 시도를 성공으로 인정한다. 구조적 오라클은 “템플릿 사용 여부”, “불필요한 의존성 추가 여부”, “책임이 한 모듈에 집중되지 않았는지” 등 차원별 구체적인 규칙을 자동으로 검사한다. 실험에서는 GPT‑4, Claude‑3, Gemini‑1.5, Qwen‑2 등 4개 모델군의 23가지 설정(직접 추론, 에이전트 모드, 다양한 프롬프트 전략 등)을 NITR에 적용하였다. 전체 483개의 시도 중 평균 성공률은 36.2%였으며, 최고 성능 모델도 57.1%에 머물렀다. 특히 “마이크로”(단일 파일·단일 단계) 프로브에서는 53.5%의 성공률을 보였지만, “멀티‑스텝”(여러 파일·복합 변경)에서는 20.6%로 급격히 감소했다. 가장 어려운 압력은 D6(Dependency Control)와 D3(Responsibility Decomposition)으로, 각각 4.3%와 15.2%의 낮은 통과율을 기록했다. 또한 64건(13.3%)은 모든 기능 테스트를 통과했음에도 구조적 오라클에서 실패했으며, 이는 기존 테스트 중심 평가가 놓치고 있는 유지보수성 부채를 명확히 보여준다. 에이전트 모드(다중 라운드 피드백 및 계획)에서는 평균 성공률이 28.2%에서 45.0%로 향상되었지만, 구조적 실패를 완전히 해소하지 못한다. 논문의 주요 기여는 다음과 같다. 첫째, 유지보수성 차원을 구체적인 레포지토리 프로브와 자동화된 구조적 오라클로 구현함으로써 비기능적 품질을 정량화했다. 둘째, 23가지 모델·설정에 대한 최초의 유지보수성 중심 평가를 수행해, 현재 AI 코딩 시스템이 기능적 정확성은 어느 정도 확보했지만 구조적 품질에서는 여전히 큰 격차가 있음을 입증했다. 셋째, NITR을 오픈소스로 공개하여 향후 연구자들이 유지보수성 인식 코딩 에이전트를 개발·비교할 수 있는 표준 플랫폼을 제공한다. 한계점으로는 현재 C++에만 초점을 맞추었으며, 유지보수성 차원의 9가지 정의가 전면적인 분류가 아니라 선택적 축에 기반한다는 점, 그리고 실제 대규모 오픈소스 프로젝트와의 직접적인 연관성을 검증하지 않았다는 점을 들 수 있다. 향후 연구에서는 다른 언어·프레임워크에 대한 프로브 확장, 실제 개발자와의 협업을 통한 오라클 검증, 그리고 유지보수성 외에도 성능·보안·확장성 등 다른 비기능적 속성을 포괄하는 종합 벤치마크 구축이 필요하다. 결론적으로, NITR은 AI 코딩 에이전트가 “정답을 만든다”는 기존 평가 패러다임을 넘어, 장기적인 코드 유지보수성을 보장할 수 있는지를 진단하는 중요한 도구이며, 향후 모델 설계·프롬프트 전략·에이전트 아키텍처 개선에 있어 핵심적인 평가 기준이 될 것이다.