LOCA‑bench: 장기 컨텍스트 에이전트 성능 평가를 위한 새로운 벤치마크

초록

LOCA‑bench는 환경 상태를 자동으로 확장해 컨텍스트 길이를 조절하면서 동일한 과제 의미를 유지하는 벤치마크이다. LLM 기반 에이전트가 도구를 활용해 환경을 탐색하고, 점진적으로 늘어나는 컨텍스트 속에서도 정확히 행동할 수 있는지를 평가한다. 다양한 모델과 컨텍스트 관리 전략을 실험해, 컨텍스트 길이가 증가할수록 성능이 급격히 저하되지만, 프로그램적 도구 호출·메모리 정리 등 고급 전략이 성공률을 크게 회복시킴을 보여준다.

상세 분석

LOCA‑bench는 기존 장기 컨텍스트 벤치마크가 “한 번에 전체 정보를 제공하고 단일 검색만 수행한다”는 한계를 넘어, 에이전트가 실제 환경과 상호작용하며 점진적으로 정보를 축적하는 과정을 모델링한다는 점에서 혁신적이다. 핵심 설계는 (1) 환경 설명 길이(Environment Description Length, EDL) 를 토큰 수로 정량화하고, 이를 조절 가능한 파라미터로 설정해 컨텍스트 길이를 체계적으로 증가시킨다. EDL은 캔버스, 이메일, 빅쿼리 등 다양한 도구에서 추출한 원시 텍스트를 모두 합친 토큰 수이며, 동일 과제 프롬프트는 고정한다. 따라서 모델이 직면하는 난이도는 순전히 컨텍스트 규모에 의한 “컨텍스트 로트(context rot)” 현상으로 귀결된다.

두 번째로, 다중 단계 탐색 및 복합 추론을 요구한다. 각 과제는 (a) 도구 호출을 통한 데이터 수집, (b) 수집된 다중 출처 정보의 통합·추론, (c) 최종 출력 형식(예: 정렬된 엑셀 파일) 준수를 포함한다. 이는 단순 “needle‑in‑haystack” 검색을 넘어, 에이전트가 기억을 관리하고, 이전 단계의 결과를 적절히 재활용해야 함을 의미한다.

세 번째는 컨텍스트 관리 전략의 다양성이다. 논문은 기본 전략(Base) 외에 (i) 프로그램적 도구 호출(Programmatic Tool Calling), (ii) 컨텍스트 인식(Context Awareness), (iii) 도구 결과 정리(Tool‑Result Clearing), (iv) 사고 과정(Thinking) 제거 등 네 가지 엔지니어링 기법을 적용한다. 실험 결과, 특히 프로그램적 도구 호출은 중간 탐색 비용을 크게 낮추면서도 성공률을 10~20% 포인트 상승시켰다. 이는 모델이 “생성‑실행‑정리” 루프를 명시적으로 제어할 때, 불필요한 토큰 누적을 방지하고 핵심 정보만을 유지할 수 있음을 시사한다.

모델별 성능 차이도 흥미롭다. GPT‑5.2‑Medium, Claude‑4.5‑Opus, Gemini‑3‑Flash 등 최첨단 상용 모델은 8K 토큰에서는 70% 이상 정확도를 보였지만, 128K·256K 토큰으로 확대될 때 급격히 하락한다(최저 21%). 반면 오픈소스 모델(DeepSeek‑V3.2‑Thinking, MiniMax‑M2.1 등)은 초기 성능이 낮지만, 컨텍스트 정리 전략 적용 시 상대적 개선 폭이 크다. 이는 “컨텍스트 로트”가 모델 규모뿐 아니라 훈련 데이터와 사후 처리 파이프라인에 크게 의존한다는 점을 강조한다.

마지막으로, 평가 인프라가 주목할 만하다. 실제 클라우드 서비스 대신 로컬 모의 서버(Mock Server)를 구축해 Google Calendar, Canvas, Email, BigQuery 등 280여 개 도구를 시뮬레이션한다. 이는 인증·요금·버전 관리 문제를 회피하면서도, 도구 스키마와 반환 형식을 실제와 동일하게 유지한다는 장점을 제공한다. 또한, 환경 상태를 자동 생성하는 템플릿·제너레이터 시스템을 공개함으로써 연구자들이 새로운 과제나 더 큰 토큰 규모를 손쉽게 확장할 수 있다.

요약하면, LOCA‑bench는 (1) 컨텍스트 길이 조절을 통한 원인 분석, (2) 다단계 도구 기반 탐색·추론, (3) 다양한 컨텍스트 관리 기법의 효과 검증, (4) 재현 가능한 로컬 평가 환경 제공이라는 네 축을 통해 장기 컨텍스트 에이전트 연구에 필요한 실험적 토대를 마련한다. 향후 연구는 (a) 메모리‑증강 아키텍처와의 결합, (b) 자동화된 컨텍스트 압축 알고리즘, (c) 인간‑인증 피드백을 통한 오류 교정 메커니즘 등을 탐색함으로써 “컨텍스트 로트”를 근본적으로 완화할 수 있을 것으로 기대된다.