파일 기반 에이전트의 구조화된 컨텍스트 설계와 성능 평가

초록

본 연구는 LLM 에이전트가 파일 기반으로 스키마를 읽어 작업할 때, 포맷(YAML, Markdown, JSON, TOON)과 아키텍처(파일‑에이전트 vs 프롬프트 삽입)가 정확도와 효율성에 미치는 영향을 9,649 실험을 통해 정량화한다. 결과는 최신 프론티어 모델에서는 파일‑에이전트가 약 2.7%p 상승을 보였지만, 오픈소스 모델에서는 평균 –7.7%p 감소한다는 모델‑의존적 차이를 드러낸다. 포맷 자체는 전체 정확도에 유의미한 차이를 만들지 않으며, 모델 능력이 가장 큰 변수임을 확인했다. 또한 10,000 테이블 규모까지 도메인 파티셔닝을 활용하면 높은 탐색 정확도를 유지할 수 있음을 보였다.

상세 분석

이 논문은 LLM 에이전트가 외부 시스템과 상호작용할 때 “컨텍스트 엔지니어링”이라는 새로운 설계 차원을 제시한다. 기존 연구가 프롬프트 최적화나 임베딩 기반 검색에 집중했지만, 여기서는 파일‑네이티브 방식, 즉 에이전트가 grep·read와 같은 기본 파일 도구를 이용해 스키마 파일을 동적으로 조회하도록 설계했다. 실험 설계는 네 가지 직렬화 포맷(YAML, Markdown, JSON, TOON)과 두 가지 컨텍스트 전달 방식(파일‑에이전트 vs 전체 스키마 프롬프트 삽입)을 11개 모델(프론티어, 프론티어‑랩, 오픈소스) 및 10가지 복잡도(L1‑L5)와 10가지 규모(S0‑S9) 조합에 적용해 9,649개의 데이터 포인트를 수집했다.

주요 발견은 네 가지로 요약된다. 첫째, 아키텍처 선택은 모델에 따라 상반된 효과를 보인다. Claude‑Opus, GPT‑5.2, Gemini‑Pro 같은 최첨단 모델은 파일‑에이전트가 프롬프트 삽입보다 평균 2.7%p 높은 정확도를 기록했으며, 이는 “grep‑tax”라 불리는 파일 검색 과정에서 모델이 효율적으로 관련 섹션을 추출하고 추론에 활용함을 의미한다. 반면 DeepSeek‑V3.2, Qwen‑32B, Llama‑Maverick 등 오픈소스 모델은 파일‑에이전트 사용 시 평균 7.7%p 정확도가 떨어졌다. 이는 오픈소스 모델이 도구 사용 훈련이 부족하거나, 파일‑기반 검색 결과를 효과적으로 파싱하지 못하는 구조적 한계로 해석된다.

둘째, 포맷 자체는 전체 정확도에 통계적으로 유의미한 차이를 만들지 않는다(χ²=2.45, p=0.484). 그러나 모델별 민감도는 뚜렷하다. 예를 들어 Claude‑Opus는 YAML에서 92%의 최고 정확도를 보였고, DeepSeek‑V3.2는 Markdown에서 80%까지 상승했다. 오픈소스 모델은 포맷에 따라 10%p 이상 차이를 보이며, 특히 YAML이 가장 안정적인 반면 Markdown은 토큰 과다 사용으로 효율이 떨어졌다.

셋째, 모델 능력이 가장 큰 변수이다. 프론티어 모델군은 평균 86%의 정확도를 기록했으며, 프론티어‑랩은 76.7%, 오픈소스는 64.6%에 머물렀다. 이 21%p 격차는 포맷이나 아키텍처 차이를 압도한다. 복잡도 분석에서도 L5 수준(다중 서브쿼리·윈도우 함수)에서는 프론티어 모델이 64%까지 유지되는 반면 오픈소스는 27%에 불과했다.

넷째, 규모 확장성 측면에서 파일‑네이티브 에이전트는 도메인 파티셔닝을 통해 10,000 테이블까지 탐색 정확도를 90% 이상 유지했다. 이는 전체 스키마를 한 번에 로드하지 않고, 질의에 필요한 파티션만 동적으로 읽어들여 토큰 사용량을 일정하게 유지할 수 있기 때문이다.

마지막으로 효율성 분석에서는 파일‑에이전트가 포맷에 따라 토큰 소비량이 크게 달라짐을 확인했다. YAML은 가장 토큰 효율적이었고, Markdown은 파이프·테이블 구문 때문에 +60% 토큰이 추가되었다. TOON은 파일 크기는 25% 감소했지만, 패턴 인식 난이도와 grep 결과 밀집도 때문에 오히려 +38% 토큰이 소모되었다. 이러한 현상은 모델별 도구 호출 전략 차이와 직접 연관된다.

전반적으로 이 연구는 “파일‑네이티브 컨텍스트 엔지니어링”이 모델 능력에 따라 맞춤형으로 적용돼야 함을 실증한다. 프론티어 모델에는 파일‑에이전트가 성능을 끌어올리는 유효한 전략이지만, 오픈소스 모델에는 기존 프롬프트 삽입 방식이 더 안전할 수 있다. 또한 포맷 선택은 모델 특성에 맞춰 최적화해야 하며, 대규모 스키마에서는 파티셔닝 기반 파일‑에이전트가 확장성을 보장한다는 점을 강조한다.