긴 문맥 LLM의 한계, 테스트 시간 학습으로 해결하다

초록

긴 문맥을 가진 대형 언어 모델(LLM)은 맥락에 많은 정보를 넣을 수 있지만, 그 안에서 필요한 정보를 효과적으로 찾아내는 데는 한계가 있습니다. 기존의 ‘생각 토큰’ 생성 같은 추론 시간 계산 확장 전략은 문맥이 길어질수록 효과가 급격히 떨어집니다. 이 논문은 ‘점수 희석’이라는 근본적인 문제를 지적하고, 주어진 긴 문맥에 맞춰 쿼리 투영 행렬만을 효율적으로 미세 조정하는 ‘쿼리 전용 테스트 시간 학습(qTTT)’ 방법을 제안합니다. 이 방법은 같은 계산 비용으로 기존 방식보다 훨씬 큰 성능 향상을 가져옵니다.

상세 분석

이 논문은 긴 문맥 LLM의 핵심 병목 현상을 ‘점수 희석(Score Dilution)‘이라는 개념으로 정교하게 규명합니다. 정적 자기 주의 메커니즘에서, 목표 토큰(바늘)과 방해 토큰(건초더미) 간의 로짓 점수 차이가 문맥 길이 T에 대해 Ω(log T)만큼 성장해야 목표에 대한 주의 가중치가 유의미하게 유지될 수 있음을 수학적으로 증명합니다. 즉, 문맥이 길어질수록 모델은 방해 정보들 사이에서 핵심 신호를 구분하기 위해 훨씬 더 날카로운 구별 능력을 필요로 하게 되는데, 사전 학습된 고정된 매개변수는 이 요구를 충족시키지 못합니다.

기존의 추론 시간 확장 전략인 ‘생각 토큰’ 생성은 모델의 매개변수를 변경하지 않고 추가 출력을 생성하는 데 불과합니다. 제안된 qTTT는 이와 근본적으로 다른 접근법으로, 추론 시간 계산 예산을 ‘더 많은 텍스트 생성’이 아닌 ‘주어진 단일 문맥에 대한 모델 적응’에 재할당합니다. 핵심 혁신은 계산 효율성에 있습니다: 한 번의 전방 패스로 키와 값 캐시를 생성한 후, 소수의 경사하강법 업데이트를 오직 쿼리 투영 행렬(W_Q)에만 적용합니다. 키와 값 캐시를 재사용함으로써 매 업데이트마다 전체 긴 문맥을 다시 처리하는 엄청난 계산 비용을 피할 수 있습니다.

이러한 적응은 본질적으로 특정 문맥 내에서 목표 토큰에 대한 쿼리 벡터를 조정하여, 해당 키와의 유사도를 높이고 결과적으로 주의 가중치를 증가시킵니다. 이는 모델이 사전 학습된 일반적인 지식보다 현재 주어진 긴 문서의 특정 세부 사항에 초점을 맞추도록 유도하는 효과가 있습니다. 실험 결과, 코드 이해, 다중 문서 QA 등 복잡한 추론이 필요한 작업에서 qTTT의 성능 향상이 특히 두드러졌으며, 이는 방법이 단순한 정보 검색을 넘어 추론 능력까지 향상시킬 수 있음을 시사합니다.