언어 모델의 훈련‑구조가 뇌와 맞닿다

초록

본 연구는 대형 언어 모델 Pythia의 훈련 과정을 추적하며, 층별 엔트로피와 곡률이라는 두 가지 기하학적 지표가 어떻게 변하는지를 분석한다. 훈련 중에 층들은 저복잡도와 고복잡도 두 개의 모듈로 안정적으로 분리되며, 저복잡도 모듈은 엔트로피와 곡률이 낮아지는 특징을 가진다. fMRI 인코딩 실험 결과, 저복잡도 모듈의 표현이 인간 언어 네트워크, 특히 측두엽 영역과의 정합도가 높으며, 곡률 감소가 훈련 진행과 무관하게 뇌 정합도를 예측하는 핵심 요인임을 확인한다. 모델 규모가 커질수록 이러한 관계는 더욱 강해진다.

상세 분석

본 논문은 최근 LLM과 인간 뇌의 언어 처리 메커니즘 간 유사성을 탐구하는 흐름에 기여한다. 기존 연구가 주로 정적 모델 스냅샷을 대상으로 뇌와의 상관관계를 분석했지만, 저자는 훈련 전 과정을 세밀히 추적함으로써 ‘표현 기하학적 모듈화’라는 새로운 현상을 발견한다. 구체적으로, Pythia‑1B 모델의 0~16층을 대상으로 엔트로피와 곡률을 19개의 체크포인트에 걸쳐 측정했으며, 각 층의 기하학적 궤적을 벡터화해 K‑means(K=2) 군집화하였다. 결과는 중간‑상위 층(4‑15)이 지속적으로 낮은 엔트로피·곡률을 유지하는 저복잡도 모듈로, 하위와 최상위 층은 상대적으로 높은 값을 보이는 고복잡도 모듈로 구분됨을 보여준다. 이 군집은 체크포인트 부트스트랩 및 LOCO 검증에서도 92% 이상 안정성을 유지해, 훈련 단계에 의존하지 않는 구조적 특성임을 입증한다.

뇌 정합도 분석에서는 5개의 좌반구 언어 영역(ANT‑TEMP, POST‑TEMP, IFG, IFG‑ORB, MFG)을 대상으로 ridge regression 기반 fMRI 인코딩을 수행했다. 저복잡도 모듈의 층 평균 인코딩 점수는 고복잡도 모듈보다 전반적으로 높았으며, 특히 측두엽 영역에서 그 차이가 크게 나타났다(효과 크기 d≈2.0). 시간적 측면에서 보면, 측두엽은 훈련 초기(스텝 ≤64)부터 저복잡도 모듈의 우위를 보이며 빠르게 안정화되는 반면, 전두엽 영역은 초기 변곡점(스텝 64) 이후에도 차이가 동적으로 변하고, IFG‑ORB는 초기에 고복잡도 모듈에 약간 기울었다가 곧 전환한다. 이는 뇌의 기능적 구역마다 모델 내부 표현의 최적화 시점이 다름을 시사한다.

기하학적 지표와 뇌 정합도의 인과 관계를 검증하기 위해, 훈련 단계(log t)를 통제한 다중 회귀 모델을 구축했다. 곡률(C)의 회귀 계수 β는 모든 ROI에서 강한 음의 값(≈‑0.9)으로, 곡률 감소가 뇌 정합도 향상에 직접적인 기여를 함을 보여준다. 엔트로피(E)는 상대적으로 약한 효과를 보였으며, 특히 MFG에서는 통계적 유의성이 없었다. 모델 규모를 70M에서 1B까지 확대했을 때, 곡률‑뇌 정합도 관계의 β값이 점진적으로 커지는 경향이 관찰돼, 대규모 모델일수록 기하학적 평탄화가 뇌와의 정합을 강화한다는 결론을 뒷받침한다.

이러한 결과는 두 가지 중요한 의미를 갖는다. 첫째, LLM의 내부 표현이 훈련 과정에서 ‘표현 평탄화’를 겪으며, 이는 인간 뇌가 선호하는 저차원, 저곡률 구조와 일치한다는 점이다. 둘째, 뇌의 영역별 특성(시간적 vs 전두적 처리)과 모델 내부 모듈화가 상호 연관되어, 특정 기능적 영역에 최적화된 층이 존재한다는 기능적 특수화 가설을 뒷받침한다. 향후 연구는 이러한 기하학적 모듈을 활용해 뇌‑모델 인터페이스를 설계하거나, 훈련 목표를 곡률 최소화와 같은 기하학적 제약으로 확장함으로써 인간 뇌와 더 높은 정합성을 달성할 수 있을 것으로 기대된다.