뇌와 언어 모델 정렬에 필요한 최소 규모와 압축 효율성

초록

본 연구는 파라미터 수와 수치 정밀도가 뇌‑언어 모델 정렬에 미치는 영향을 체계적으로 조사한다. 1 B‑3 B 규모의 소형 언어 모델(SLM)과 7 B‑14 B 규모의 대형 모델을 fMRI 데이터에 매핑했을 때, 3 B 파라미터 모델이 대형 모델과 구별되지 않는 뇌 예측력을 보이며 1 B 모델은 특히 의미 영역에서 성능이 떨어진다. 양자화와 가지치기 압축은 대부분 뇌 정렬을 유지하지만, GPTQ는 일관되게 성능 저하를 일으킨다. 언어 능력(형태·통사·의미·담화·추론) 평가는 압축이 일부 능력을 감소시켜도 뇌 정렬에는 큰 영향을 주지 않음을 보여준다. 즉, 뇌와의 정렬은 비교적 작은 모델 규모와 압축된 형태에서도 포화에 도달한다는 결론을 제시한다.

상세 분석

이 논문은 “뇌‑언어 모델 정렬”이라는 신경과학‑인공지능 교차 분야에서 모델 규모와 압축이 실제 뇌 신호 예측에 어떤 영향을 미치는지를 정량적으로 규명한다. 먼저 9명의 피험자가 들은 Moth Radio Hour 내러티브를 fMRI로 기록한 공개 데이터셋을 사용했으며, Glasser Atlas 기반 180개의 ROI(언어 관련 영역 포함)를 대상으로 voxel‑wise 인코딩과 디코딩을 수행했다. 모델은 LLaMA‑3.2, Qwen‑2.5, DeepSeek‑R1 등 세 가지 최신 트랜스포머 계열을 1 B‑14 B 파라미터 범위로 선택했으며, 각 모델의 모든 레이어에서 가장 높은 뇌 예측력을 보이는 레이어를 선정해 비교했다.

핵심 결과는 세 가지 측면에서 도출된다. 첫째, 규모에 따른 포화 현상이 관찰되었다. 3 B 파라미터 SLM은 7 B‑14 B LLM과 거의 동일한 Pearson 상관계수를 기록했으며, 이는 전체 뇌와 주요 언어 영역(AG, IFG, ATL 등) 모두에서 통계적으로 유의미했다. 반면 1 B 모델은 특히 의미 처리 영역에서 예측 정확도가 크게 감소했으며, 이는 모델 용량이 의미적 표현을 충분히 포착하기에 부족함을 시사한다. 둘째, 압축에 대한 강인성이 확인되었다. 양자화(AWQ, SmoothQuant)와 비구조적 가지치기(10 %‑25 % sparsity)에서는 뇌 정렬이 거의 변하지 않았지만, GPTQ 양자화는 전반적인 voxel‑wise 성능을 저하시켰고, 특히 angular gyrus와 같은 고차 의미 영역에서 손실이 두드러졌다. 세 번째로, 언어 능력 평가와 뇌 정렬 사이의 불일치가 드러났다. FlashHolmes 벤치마크에서 양자화·가지치기 모델은 형태·통사·담화·추론 과제에서 점수 하락을 보였음에도 불구하고, 뇌 예측력은 유지되었다. 이는 뇌가 요구하는 표현이 단순히 높은 작업 정확도와 일치하지 않으며, 특정 언어 현상보다 더 추상적인 의미·통합 정보를 중시한다는 점을 암시한다.

또한, 디코딩 실험을 통해 3 B 모델이 fMRI로부터 의미적으로 일관된 텍스트를 재구성할 수 있음을 입증했으며, 이는 인코딩 결과와 일관된 정량적·정성적 증거를 제공한다. 연구는 모델 규모와 정밀도에 대한 체계적 변수를 제어함으로써, 뇌와의 정렬을 위한 최소한의 계산적 복잡성을 제시하고, 향후 신경과학적 모델링에서 경량화된 모델을 활용할 근거를 마련한다.