문맥 구조가 언어 모델의 표현 기하학을 재구성한다

초록

본 논문은 Gemma‑2 시리즈를 대상으로 다양한 인‑컨텍스트 학습(​ICL) 작업에서 “표현 직선화”(straightening) 현상이 어떻게 나타나는지를 조사한다. 연속적인 예측 과제에서는 컨텍스트 길이가 늘어날수록 내부 토큰 궤적이 더 직선화되고 이는 예측 정확도와 상관관계를 보인다. 반면, 구조화된 few‑shot 과제에서는 직선화가 일관되지 않으며, 템플릿 반복 구간에만 나타나고 그 외에서는 사라진다. 이러한 결과는 LLM이 작업 유형에 따라 서로 다른 내부 전략을 동적으로 선택한다는 “스위스 군용칼” 메커니즘을 제시한다.

상세 분석

이 연구는 크게 두 축으로 접근한다. 첫 번째는 기존 연구에서 제시된 “표현 직선화” 현상을 LLM의 깊은 층에서 토큰 시퀀스가 선형 궤적을 형성하도록 변형되는 현상으로 정의하고, 이를 정량화하기 위해 토큰 간 전이 벡터의 각도(곡률)와 Menger 곡률, 참여 비율(Participation Ratio) 등을 사용한다. 두 번째는 이러한 기하학적 변화를 다양한 컨텍스트 구조에 매핑한다.

실험은 Gemma‑2‑27B 모델을 중심으로 세 종류의 작업을 설계했다. (1) 자연어 장기 의존성 과제(LAMBADA)에서는 원문과 토큰 순서를 유지한 경우와 무작위 섞은 경우를 비교했으며, 중간 층(L15‑L25)에서 곡률이 현저히 감소하고 직선화가 최대에 달한다는 결과를 얻었다. 이는 모델이 의미적 구조를 추출해 고차원 표현을 낮은 차원의 선형 매니폴드로 압축한다는 가설을 뒷받침한다. (2) 그리드 월드 과제에서는 두 단계의 추상화(단일 레벨 매핑과 계층적 매핑)를 도입해, 긴 컨텍스트가 제공될 때 모델이 잠재 그래프 구조를 추론하고, 테스트 단계에서 올바른 이웃 토큰에 높은 로짓을 부여한다는 점을 확인했다. 여기서도 컨텍스트가 길어질수록 직선화가 강화되고, 성공적인 추론과 높은 직선화 정도가 정량적으로 상관관계를 보였다. (3) 구조화된 few‑shot 및 리들 과제에서는 템플릿 기반 질문‑답변 형식이 포함되었지만, 전체 시퀀스에 걸친 직선화는 일관되지 않았다. 특히 템플릿 반복 구간에서는 일시적으로 직선화가 관찰되었지만, 질문‑답변 전환점에서는 곡률이 다시 증가했다. 이는 모델이 단순히 입력을 선형화하는 것이 아니라, 작업에 맞는 별도 메커니즘(예: 메모리 검색, 논리 연산)을 동원한다는 증거이다.

또한, 연구는 직선화와 모델 성능 사이의 인과관계를 탐색했다. 자연어와 그리드 월드에서는 직선화 정도가 높을수록 다음 토큰 예측 정확도가 상승했으며, 이는 선형 외삽(linear extrapolation) 가설을 지지한다. 반면, few‑shot 과제에서는 직선화와 정확도 사이에 뚜렷한 상관관계가 없었으며, 이는 ICL이 단일 메커니즘이 아니라 작업 특성에 따라 다양한 전략을 선택한다는 “스위스 군용칼” 비유를 강화한다.

이러한 결과는 LLM의 내부 표현이 고정된 것이 아니라, 컨텍스트 구조와 과제 요구에 따라 동적으로 재구성된다는 중요한 통찰을 제공한다. 특히, 모델이 중간 층에서 표현을 압축하고 직선화하는 과정은 연속적인 예측 과제에 특화된 메커니즘이며, 구조화된 추론 과제에서는 다른 형태의 내부 연산(예: 조건부 기억 재활용, 논리 연산)으로 전환한다는 점을 시사한다. 향후 연구는 이러한 전략 전환을 더 세밀히 추적하고, 특정 전략을 유도하거나 억제하는 프롬프트 설계 방법을 탐색함으로써 LLM의 제어 가능성을 높이는 방향으로 나아갈 수 있다.