LLM의 맥락 내 추론을 이끄는 개념적 잠재공간의 등장과 인과적 역할

초록

본 연구는 대규모 언어 모델(LLM)이 문맥 기반 개념 추론을 수행할 때, 중간‑후반 층에서 형성되는 ‘개념적 잠재공간’이 존재함을 밝혀낸다. 이 잠재공간은 층 간에 구조적으로 일관되며, 다양한 시연(context)에서도 유지된다. 인과적 매개 분석과 활성화 패칭을 통해 이 공간이 실제 예측에 필수적이며, 초기‑중간 층의 어텐션 헤드가 정보를 통합해 잠재공간을 구축하고, 후반 층이 이를 활용해 최종 답을 생성한다는 메커니즘을 제시한다.

상세 분석

본 논문은 “역사전(reverse dictionary)” 과제를 통해 LLM이 어떻게 문맥 내에서 개념을 추론하는지를 정밀하게 탐구한다. 실험에 사용된 모델은 Llama‑3.1, Llama‑3, Qwen2.5 등 다양한 규모와 아키텍처를 포괄한다. 핵심 방법론은 다음과 같다. 첫째, 각 층의 은닉 상태 행렬 Xℓ에 대해 SVD를 수행하고, 전체 분산의 95 %를 설명하는 주요 성분(k)을 추출한다. 층 간 주요 성분들의 평균 제곱 코사인(θ) 값을 통해 “주성분 서브스페이스 겹침”을 정량화했으며, 중간‑후반 층에서 이 겹침이 급격히 상승함을 확인했다. 이는 초기 층에서는 표현이 급격히 변형되지만, 일정 깊이 이후에는 동일한 잠재공간이 유지된다는 의미이다.

둘째, GCCA(Generalized Canonical Correlation Analysis)를 적용해 여러 층에 걸친 공통 잠재공간 G를 추출하였다. G는 각 층별 투영 행렬 Wℓ을 통해 Xℓ에 선형 매핑되며, 비정규화된 차원 r은 퍼뮤테이션 테스트로 결정했다. GCCA 정렬 점수와 RSA(Representational Similarity Analysis) 값이 거의 1에 근접함을 보이며, 이 잠재공간이 층 간에 강한 선형 일치를 유지한다는 것을 입증했다.

셋째, 인과적 매개 분석을 위해 각 층에 대해 정규 직교 투영 연산자 Pℓ = WℓWℓᵀ를 정의하고, 은닉 상태를 서브스페이스 성분 hℓ,∥와 그 보완 성분 hℓ,⊥로 분해하였다. 이후 세 가지 유형의 입력 손상(설명, 라벨, 질의) 상황에서 “활성화 패칭”을 수행, 손상된 상태의 보완 성분을 유지하고 서브스페이스 성분만 깨끗한 상태로 교체하였다. 이때 CIE(Indirect Effect)를 측정해 서브스페이스가 예측에 미치는 인과적 기여도를 정량화했다. 결과는 서브스페이스 성분만을 복원해도 손상된 입력에서 원래와 유사한 정확도를 회복할 수 있음을 보여, 해당 잠재공간이 실제 추론 과정에 필수적임을 증명한다.

또한, 어텐션 헤드 분석을 통해 초기‑중간 층의 특정 헤드가 시연(데모) 정보를 집계하고, 이를 통해 서브스페이스를 점진적으로 형성한다는 메커니즘을 제시한다. 시연 수가 증가할수록(1→24) 서브스페이스의 구조적 일관성이 향상되고, 24개 이상에서는 포화 현상이 나타난다. 이는 LLM이 제한된 문맥 정보를 효율적으로 압축해 추상적 개념 구조를 형성한다는 인간 인지와의 유사성을 시사한다.

전체적으로, 이 연구는 LLM 내부에 존재하는 “개념적 잠재공간”이 단순한 통계적 패턴이 아니라, 문맥에 따라 동적으로 구축되고, 후속 층에서 실제 추론에 활용되는 인과적 메커니즘임을 강력히 뒷받침한다. 이는 기존의 “단순 상관관계 기반” 논쟁에 대한 실증적 반증이며, 향후 모델 설계·해석·안전성 평가에 중요한 이정표가 될 것이다.