언어가 시각을 조절한다 신경망과 뇌손상 모델의 증거

초록

본 연구는 언어‑시각 멀티모달 딥러닝 모델인 CLIP이 인간의 VOTC(ventral occipitotemporal cortex) 활동을 설명하는 데 기존의 순수 시각 모델(ResNet, MoCo)보다 우수함을 네 개의 fMRI 데이터셋과 33명의 뇌졸중 환자 데이터로 검증한다. 특히 왼쪽 각운동피질(angular gyrus)과 VOTC 사이의 백질 연결 손상이 CLIP‑뇌 일치도를 낮추고, 무감독 모델인 MoCo‑뇌 일치도를 높이는 것으로 나타나, 언어 처리 영역이 시각 피질의 표현에 인과적으로 영향을 미친다는 증거를 제공한다.

상세 분석

이 논문은 두 단계의 접근법을 결합한다. 첫 번째 단계에서는 세 가지 시각 모델—CLIP(언어‑이미지 대조 학습), ResNet‑50(라벨‑감독 학습), MoCo(자기‑감독 학습)—의 최종 풀링 레이어에서 추출한 피처를 기반으로 객체 간 거리 행렬(RDM)을 만든 뒤, 네 개의 서로 다른 fMRI 데이터셋(OPN95, SPN95, FV14, THINGS)에서 측정된 VOTC 신경 RDM과의 RSA(Representational Similarity Analysis)를 수행한다. 여기서 중요한 점은 동일한 아키텍처를 공유함으로써 모델 간 차이를 순수히 학습 목표와 데이터 슈퍼비전 차이에 귀속시킬 수 있다는 것이다. 결과는 CLIP이 ResNet과 MoCo보다 VOTC 전반에 걸쳐 높은 부분 상관(partial Spearman) 값을 보였으며, 특히 왼쪽 측두후두 복합체(L‑LO), 측두후두 회(L‑FG), 측두후두 회(L‑ITG) 등 좌반구에 국한된 클러스터에서 유의미한 효과가 나타났다. 이는 언어 네트워크가 좌측에 편재한다는 기존 신경과학적 가설과 일치한다.

두 번째 단계는 33명의 뇌졸중 환자를 대상으로 백질 미세구조(DTI 기반 FA) 손상이 CLIP‑뇌 일치도와 어떤 관계가 있는지를 탐색한다. 환자들의 VOTC와 왼쪽 각운동피질 사이의 백질 무결성 감소가 CLIP‑뇌 일치도를 현저히 낮추는 반면, MoCo‑뇌 일치도는 오히려 증가한다는 역상관 관계가 관찰되었다. 이는 언어 영역과 VOTC 사이의 연결이 손상될 때, 언어‑시각 통합 정보를 제공하던 CLIP의 설명력이 감소하고, 순수 시각 정보에 의존하는 MoCo가 상대적으로 더 잘 맞춰진다는 의미다.

통계적 검증은 FDR 보정된 voxel‑wise p<0.001, 클러스터‑wise FWE p<0.05 수준을 적용했으며, 청각·청각이상(청각 vs. 청각장애) 그룹 간 차이는 Bayes factor가 0.322로 유의미한 차이가 없음을 보여, 언어 양식(구어 vs. 수화) 자체가 효과를 매개하지 않음을 시사한다.

이러한 결과는 (1) 언어 슈퍼비전이 시각 피질의 표현을 강화한다는 인과적 증거, (2) 좌측 언어 네트워크와 VOTC 사이의 백질 연결이 기능적 통합에 핵심적 역할을 한다는 구조적 근거, (3) 기존 “블랙박스” DNN‑뇌 비교의 한계를 뇌 손상 모델을 통한 인과 검증으로 보완할 수 있음을 보여준다. 다만, CLIP의 성능이 데이터 규모와 텍스트 다양성에 크게 의존한다는 점, 그리고 환자 표본이 비교적 작아 일반화에 제한이 있다는 점은 향후 연구에서 보완되어야 할 부분이다.