IDE‑벤치: 실제 개발 환경에서 LLM을 IDE 에이전트로 평가하는 새로운 벤치마크

초록

IDE‑Bench는 8개의 비공개 리포지터리와 80개의 실무 과제로 구성된 Docker 기반 테스트 하네스를 제공한다. 모델은 파일 탐색·편집·코드베이스 검색·전체 스택 테스트 등 17개의 IDE‑전용 도구를 호출하며, pass@k, 토큰 효율성, 도구 사용 패턴 등을 종합적으로 측정한다. 실험 결과 GPT‑5.2가 95% pass@5를 기록했으며, 상위 모델과 하위 모델 사이에 명확한 성능 격차가 나타났다.

상세 분석

IDE‑Bench는 기존 SWE‑Bench나 Terminal‑Bench와 달리 “IDE‑네이티브” 도구 인터페이스를 중심으로 설계되었다. 모델은 단순히 정적 파일을 읽는 것이 아니라, read_file, edit_file, codebase_search, run_terminal_cmd, api_call, db_query 등 17개의 함수 호출을 통해 실제 IDE와 동일한 작업 흐름을 재현한다. 이러한 설계는 LLM이 반복적인 탐색·디버깅·수정 루프를 수행하면서 발생하는 오류 복구 능력을 정량화할 수 있게 한다.

특히 벤치마크는 훈련 데이터 오염을 방지하기 위해 공개되지 않은 8개의 리포지터리를 사용한다. 각 리포지터리는 C/C++, Java, MERN 스택 등 다양한 언어와 프레임워크를 포함하며, 기능 구현, 버그 수정, 리팩터링, 성능 최적화 등 실제 개발자가 마주하는 복합 작업을 10개씩 제공한다. 과제 디렉터리에는 task description.txt, task diff.txt(정답 패치), tests.py가 포함되며, 실행 시 diff 파일은 숨겨져 모델이 자체적으로 코드를 생성·수정하도록 강제한다.

평가 파이프라인은 세 단계로 구성된다. 첫째, Dockerfile 기반으로 격리된 Ubuntu 24.04 컨테이너를 초기화한다. 둘째, LiteLLM을 통해 지정된 LLM을 “Gladiator agent”로 실행하고, 시스템 프롬프트에 도구 사양과 과제 목표를 제공한다. 모델은 최대 100번의 도구 호출을 반복하며, 모든 호출은 설명 파라미터와 함께 로그된다. 셋째, run_tests.sh 스크립트를 실행해 테스트 결과와 git diff를 비교, pass@k와 토큰 사용량, 도구 호출 빈도 등을 산출한다.

실험 결과는 두 가지 주요 패턴을 보여준다. 첫째, GPT‑5.2가 95% pass@5, Claude Sonnet 4.5·Haiku 4.5·Opus 4.5가 85~89% pass@5 등 상위 모델군이 뚜렷하게 앞선다. 둘째, 하위 모델은 재시도 횟수에 따라 성능 향상이 크게 나타나지만, 상위 모델은 첫 시도 성공률이 이미 높아 재시도 효과가 미미하다. 이는 “85% threshold”가 모델의 안정성을 가늠하는 기준점임을 시사한다.

또한 이진 pass@k 외에 테스트 별 통과율을 분석한 결과, 일부 모델은 핵심 로직은 구현했지만 포맷이나 엣지 케이스에서 소수의 테스트만 실패하는 “near‑miss” 현상이 빈번했다. 이는 실제 개발 현장에서 작은 포맷 오류가 전체 배포를 지연시키는 문제와 유사하다.

토큰 효율성 측면에서는 Grok 4.1 Fast가 182k 토큰당 0.37의 효율을 보이며 가장 경제적이었으며, Claude Opus는 높은 성공률에도 불구하고 1.35M 토큰을 소비해 비용이 크게 늘었다. 이러한 결과는 “빠른‑정밀” vs. “느린‑철저” 전략을 구분하는 데 유용하다.

전반적으로 IDE‑Bench는 LLM이 IDE 환경에서 실제 개발자와 유사한 도구 활용·반복적 디버깅 능력을 평가할 수 있는 최초의 종합 프레임워크이며, 모델 선택 시 성공률뿐 아니라 토큰 비용·도구 사용 패턴까지 고려해야 함을 강조한다.