코드 에이전트 컨텍스트 탐색 벤치마크 ContextBench

초록

ContextBench는 66개 저장소, 8개 언어, 1,136개의 이슈 해결 과제를 대상으로 인간이 주석한 골드 컨텍스트를 제공하고, 코딩 에이전트의 코드 컨텍스트 검색 과정을 정량화한다. recall, precision, 효율성을 파일·블록·라인 수준에서 측정해 LLM과 에이전트의 검색 행동을 비교한다. 실험 결과는 복잡한 스캐폴딩이 큰 이득을 주지 않으며, 최신 LLM이 recall을 우선해 과도한 잡음을 만든다는 “쓴 교훈”을 보여준다.

상세 분석

ContextBench는 기존 SWE‑bench 계열이 최종 패치 성공률(Pass@k)만을 평가하는 한계를 극복하고, 코딩 에이전트가 문제 해결 과정에서 어떤 코드 조각을 탐색하고 활용하는지를 단계별로 추적한다. 이를 위해 저자들은 먼저 4개의 공개 이슈‑해결 벤치마크에서 4,497개의 과제를 수집하고, 규칙 기반 메타데이터 매칭과 임베딩 기반 유사도 검증을 통해 3,100개의 고유 과제로 정제한다. 이후 ‘에이전트 해결 가능성’, ‘수정 범위’, ‘수정 분산’이라는 세 가지 난이도 지표를 활용해 1,500개의 후보를 선정하고, 인간 전문가가 직접 골드 컨텍스트를 정의한다. 골드 컨텍스트는 수정된 파일·함수·클래스와 그 의존 관계를 최소화하면서도 문제 해결에 충분하도록 설계되며, GPT‑5 등 최신 LLM을 이용해 “컨텍스트만으로 패치를 생성했을 때 테스트를 통과하는가”를 검증한다.

평가 프레임워크는 에이전트 실행 로그를 실시간으로 캡처하고, Tree‑sitter 파서를 이용해 탐색된 코드 영역을 파일·AST 블록·라인 좌표계에 매핑한다. 이렇게 정렬된 영역을 골드 컨텍스트와 비교해 recall, precision, F1을 구간 겹침 방식으로 계산한다. 결과는 세 가지 granularity(파일, 블록, 라인)에서 제공되어, 에이전트가 넓은 범위의 코드를 탐색했지만 실제로는 핵심 라인까지 도달하지 못하는 ‘탐색‑활용 격차’를 정량화한다.

실험에서는 GPT‑5, Claude Sonnet 4.5, Gemini 2.5 Pro, Devstral 2 네 모델과 mini‑SWE‑agent, SWE‑agent, OpenHands, Agentless, Prometheus 다섯 에이전트를 평가했다. 주요 발견은 다음과 같다. 첫째, 복잡한 검색 스캐폴딩(예: 다단계 프롬프트, 외부 검색 엔진 연동)이 반드시 성능 향상으로 이어지지 않으며, 단순 베이스라인과 큰 차이를 보이지 않는다. 이는 AI 연구 전통의 “The Bitter Lesson”과 일맥상통한다. 둘째, 모든 LLM이 recall을 극대화하려는 경향을 보여, 광범위한 파일·블록을 조회하지만 precision이 낮아 불필요한 토큰 소비가 증가한다. 셋째, recall‑precision 균형을 맞춘 모델이 Pass@1 성능과 비용 효율성 모두에서 우수함을 확인했다. 넷째, 에이전트가 골드 컨텍스트를 탐색했음에도 최종 패치에 반영하지 못하는 경우가 빈번해, ‘컨텍스트 통합’ 단계가 현재 가장 큰 병목임을 시사한다.

이러한 분석을 통해 ContextBench는 코딩 에이전트 연구에서 “중간 과정”을 평가할 수 있는 표준 도구로 자리매김할 가능성을 보여준다. 향후 연구는 컨텍스트 활용 전략, 메모리 관리, 그리고 검색‑생성 사이의 피드백 루프를 최적화함으로써, 단순 성공률을 넘어 신뢰성·효율성을 겸비한 코딩 에이전트를 설계하는 데 기여할 수 있다.