음악과 언어를 위한 저차원 구현 의미론

초록

본 논문은 fMRI 데이터를 이용해 여러 사람의 뇌 반응을 동시에 모델링함으로써, 음악 장르와 언어 주제와 같은 의미 정보를 저차원 벡터 공간에 압축한다. 제안된 GCCA 기반 임베딩은 원본 고차원 voxel 공간보다 분류 성능이 우수하며, 참여자 수가 늘어날수록 의미 풍부도가 증가한다.

상세 분석

이 연구는 구현 인지(embodied cognition) 이론을 실증적으로 검증하기 위해, 인간의 다중감각 경험이 뇌의 신경 회로에 어떻게 통계적으로 인코딩되는지를 fMRI 데이터로 추출한다. 핵심 아이디어는 개별 뇌가 경험에 따라 편향된 ‘노이즈’를 포함하지만, 여러 뇌의 공통된 패턴을 추출하면 보다 객관적인 의미 표현을 얻을 수 있다는 점이다. 이를 위해 저자들은 Generalized Canonical Correlation Analysis(GCCA)를 활용해 다수의 피험자 뇌 데이터를 하나의 공유 잠재 공간으로 정렬한다. GCCA는 각 피험자의 voxel 행렬 Xᵥ (N×dᵥ)를 공통의 저차원 행렬 G (N×C)와 선형 변환 Pᵥ (dᵥ×C)로 근사함으로써, 서로 다른 뇌에서 동일 자극에 대한 반응을 최대한 상관시키는 C개의 정규화된 축을 찾는다.

데이터는 두 가지 도메인으로 구성된다. 음악 데이터는 19명의 피험자가 5가지 장르의 짧은 클립을 8회씩 청취한 fMRI 기록이며, 언어 데이터는 16명의 피험자가 24개 주제에 걸친 문장을 각각 243·384개씩 본 기록이다. 고해상도 voxel 수가 매우 큰 MG 데이터는 Nilearn을 이용해 6배 다운샘플링해 5,488개의 voxel으로 축소하였다. 이후 각 데이터셋을 교차 검증용 폴드로 나누고, GCCA 모델을 학습시켜 C값(2~25) 중 MAP(mean average precision) 기준으로 최적 차원을 선정하였다.

평가 단계는 두 가지 프록시 작업으로 구성된다. 첫째, across‑subject retrieval에서는 테스트 피험자의 fMRI 벡터를 공유 G 공간에 투사한 뒤, 동일 자극에 해당하는 다른 피험자의 벡터와 매칭해 MAP를 측정한다. 둘째, 저차원 임베딩을 이용한 장르·주제 분류에서는 선형 SVM을 학습시켜 정확도를 비교한다. 실험 결과, 10~15 차원 정도의 공유 공간이 가장 높은 MAP와 분류 정확도를 제공했으며, 피험자 수가 증가할수록 MAP와 정확도가 꾸준히 상승했다. 이는 다수의 뇌 데이터를 통합함으로써 개인적 편향이 평균화되고, 의미적 신호가 강화된다는 가설을 뒷받침한다.

또한, 기존 연구와 차별되는 점은 (1) 자극 자체의 특징(예: 멜로디, 텍스트 임베딩)을 사용하지 않고 순수히 뇌 반응만으로 의미 공간을 학습했다는 점, (2) 특정 장르·주제 라벨에 제한되지 않은 일반 의미 임베딩을 구축했다는 점이다. 이러한 접근은 뇌-기반 의미 모델링을 다양한 멀티모달 응용에 확장할 수 있는 기반을 제공한다.

한계점으로는 fMRI의 저시간 해상도와 제한된 피험자 수, 그리고 GCCA가 선형 변환에 의존한다는 점이 있다. 향후 연구에서는 비선형 다중뷰 학습(예: Deep CCA)이나 더 큰 규모의 데이터셋을 활용해 의미 공간의 표현력을 더욱 향상시킬 수 있을 것이다.