맥락이 언제 도움이 되는가 대형 언어 모델의 오류 역학

초록

본 논문은 트랜스포머 기반 대형 언어 모델(LLM)에서 임의의 컨텍스트가 출력 오류에 미치는 영향을 수학적으로 분석한다. 단일층 트랜스포머에서는 컨텍스트 조건부 오류 벡터가 기본 오류와 컨텍스트 보정 벡터의 합으로 분해됨을 증명하고, 오류 감소를 위한 기하학적 조건(보정 벡터의 방향과 크기 제한)을 제시한다. 또한 보정 벡터의 노름이 컨텍스트‑쿼리 관련성 및 보완성에 의해 상한이 결정된다는 명시적 식을 도출한다. 이 결과를 다중 컨텍스트·다중층 모델에 확장하고, ICL, RAG, 메모리 진화 등 다양한 실험을 통해 이론을 검증한다. 마지막으로 각도와 노름 기반의 컨텍스트 선택 전략을 제안해 평균 0.6%의 성능 향상을 달성한다.

상세 분석

이 연구는 “컨텍스트가 LLM의 추론에 미치는 효과를 오류 역학이라는 관점에서 통합적으로 설명한다”는 점에서 의미가 크다. 기존 이론은 주로 ICL(인-컨텍스트 러닝)이나 검색 기반 증강(RAG) 등 특정 상황에 국한돼 있었으며, 컨텍스트와 쿼리 사이의 분포 정렬 가정에 의존했다. 저자들은 이러한 제한을 넘어, 임의의 컨텍스트를 하나의 벡터 t 로 추상화하고, 입력 행렬 E=