짧은 증거는 찾기 힘들다: LLM의 금맥 길이가 성능을 좌우한다

초록

본 연구는 긴 컨텍스트 질문응답에서 정답이 포함된 문서(골드 컨텍스트)의 길이가 모델 성능에 미치는 영향을 체계적으로 조사한다. 세 가지 도메인(생의학, 일반 지식, 수학)과 11개의 최신 LLM을 대상으로 150 000여 번의 실험을 수행했으며, 골드 컨텍스트가 짧을수록 정확도가 크게 떨어지고 위치 민감도가 증가함을 밝혀냈다. 금맥 길이는 위치, 답변 토큰 반복, 골드‑방해비율 등 여러 교란 변수들을 통제한 뒤에도 독립적인 성공 예측 변수로 남는다.

상세 분석

이 논문은 “needle‑in‑a‑haystack”(NIAH) 상황에서 LLM이 정답을 담은 골드 컨텍스트를 얼마나 효율적으로 찾아내는지를 골드 컨텍스트의 길이(gold context size)라는 새로운 차원에서 분석한다. 실험 설계는 크게 네 가지 원칙을 따른다. 첫째, 현실적인 에이전트 기반 시스템을 모사하기 위해 골드 문서를 다양한 크기(소‑중‑대)로 정의하고, 동일한 양의 방해 문서(distractor)와 섞어 입력 시퀀스를 만든다. 둘째, 골드 문서의 위치를 0 ~ 1의 비율로 균등하게 변동시켜 위치 편향(primacy bias)을 동시에 측정한다. 셋째, 세 가지 벤치마크(CARDBiomedBench, NaturalQuestions, NuminaMath1.5)를 선택해 도메인 일반성(generalizability)을 확보하고, 각 벤치마크마다 토큰 수 분포를 상세히 제시한다. 넷째, GPT‑4o, Gemini‑2.0‑Flash, LLaMA‑3.1‑405B 등 11개의 최신 모델을 포함해 폐쇄형·오픈형 모델을 모두 테스트함으로써 모델 아키텍처와 규모에 따른 차이를 탐색한다.

실험 결과는 일관되게 “큰 골드 컨텍스트가 작은 골드 컨텍스트보다 성능이 우수하다”는 패턴을 보인다. 예를 들어, Gemini‑2.0‑Flash는 CARDBiomedBench에서 소형 골드 48 % → 중형 62 % → 대형 73 %로 정확도가 상승했으며, GPT‑4o는 소형 77 % → 대형 98 %에 이른다. 특히 대형 골드 컨텍스트는 골드‑전용(baseline) 성능에 근접해, 방해 문서가 존재해도 거의 손실이 없음을 확인한다.

위치 민감도 분석에서는 소형 골드가 입력 뒤쪽에 배치될 때 급격히 성능이 하락하는 반면, 대형 골드는 완만한 감소를 보인다. 이는 작은 증거가 모델의 어텐션 메커니즘에서 “숨겨진” 상태가 되기 쉬워, 초기 위치에 있을 때만 눈에 띈다는 점을 시사한다. 또한 답변 토큰 반복(answer token repetition)과 골드‑방해 비율(gold‑to‑distractor ratio) 등을 통제한 후에도 골드 크기의 효과가 유의미하게 남아, 단순히 토큰 빈도나 비율 차이 때문이 아님을 입증한다.

이러한 결과는 실제 에이전트 기반 시스템에서 중요한 설계 시사점을 제공한다. 문서 길이 차이가 큰 경우, 짧은 핵심 증거가 긴 방해 문서에 의해 가려질 위험이 크므로, 사전 길이 정규화, 길이 기반 가중치 부여, 혹은 다단계 검색·집계 파이프라인을 도입해야 한다. 또한, 모델이 긴 컨텍스트를 효율적으로 처리하도록 훈련 데이터에 다양한 길이의 정답 문서를 포함시키는 것이 필요하다.