뇌활동 해독에 단어 임베딩을 결합하라

초록

이 논문은 8가지 단어 임베딩(경험적, 분포적, 의존구문 기반)을 활용해 구체적 명사의 fMRI 뇌활동을 예측하고, 반대로 뇌 데이터를 통해 단어 벡터를 복원하는 실험을 수행한다. 신경망 기반 임베딩이 전반적으로 우수했으며, 특히 의존구문 기반 모델이 뇌활동 예측에 가장 높은 정확도를 보였다. 반면 GloVe는 뇌→벡터 역예측에서 최고 성능을 나타냈다. 모델별 오류 패턴이 서로 달라 뇌가 의미 처리에 여러 시스템을 이용한다는 가설을 뒷받침한다.

상세 분석

본 연구는 단어 의미를 뇌가 어떻게 코딩하는지를 탐구하기 위해 8개의 서로 다른 임베딩 모델을 체계적으로 비교하였다. 실험에 사용된 데이터는 Mitchell et al. (2008)의 fMRI 데이터로, 60개의 구체적 명사에 대해 9명의 피험자가 6번씩 자극을 받아 총 360개의 뇌 이미지가 확보되었다. 각 단어는 25개의 특징(실험적 연관성, 공기 빈도 등)과 4가지 분포적/신경망 임베딩(Word2Vec, FastText, GloVe, LexVec) 및 의존구문 기반 임베딩(Levy & Goldberg, 2014)으로 표현되었다.

예측 모델은 L2 정규화된 리지 회귀를 사용했으며, 입력→출력(단어→뇌)과 출력→입력(뇌→단어) 두 방향 모두를 평가하였다. 교차검증을 통해 과적합을 방지하고, 성능 평가는 Pearson 상관계수와 평균 제곱 오차(MSE)로 측정하였다.

주요 결과는 다음과 같다. (1) 신경망 기반 임베딩(특히 의존구문 기반 모델)이 뇌활동 예측에서 가장 높은 상관계수(r≈0.45)를 기록했으며, 이는 전통적인 경험적 모델(인간 평가 기반)보다 현저히 우수했다. (2) GloVe는 뇌→벡터 역예측에서 가장 높은 정확도를 보였으며, 이는 전역적인 공기 행렬이 뇌의 통계적 연관성을 잘 반영한다는 점을 시사한다. (3) 오류 분석에서 의존구문 임베딩은 시각·운동 피질과 관련된 영역에서 낮은 오류를 보인 반면, GloVe는 전두엽과 측두엽에서 상대적으로 정확했다. 반대로 경험적 모델은 감각 피질에서 높은 오류를 보였다. 이러한 패턴 차이는 뇌가 의미를 다차원적으로, 구문·통계·감각 정보를 별도 회로에서 처리한다는 가설을 뒷받침한다.

연구는 또한 모델 결합의 가능성을 제시한다. 다중 회귀 혹은 앙상블 방식을 통해 각 임베딩의 강점을 가중치로 통합하면, 현재보다 더 높은 뇌‑언어 매핑 정확도를 기대할 수 있다. 제한점으로는 명사에 국한된 실험 설계와 피험자 수가 적다는 점, 그리고 fMRI 해상도의 시간적 제약이 있다. 향후 연구에서는 동사·형용사 등 다양한 품사를 포함하고, MEG·EEG와 같은 고시간해상도 데이터를 결합해 의미 처리의 시계열적 역학을 탐색할 필요가 있다.