긴 시간 맥락이 뇌와 멀티모달 모델 정렬을 강화한다

초록

본 연구는 영화 시청 중 fMRI 데이터를 활용해, 영상 클립의 시간 길이(3‑12초)와 서술 과제 프롬프트가 멀티모달 대형 언어 모델(MLLM)과 뇌 활동 정렬에 미치는 영향을 조사한다. 클립 길이가 길어질수록 MLLM의 뇌 예측력이 크게 향상되는 반면, 단일 모달 비디오 모델은 큰 변화를 보이지 않는다. 짧은 시간 창은 시각·청각 초기 영역에, 긴 시간 창은 전두엽·디폴트 모드 네트워크와 같은 고차 통합 영역에 최적화되며, 이는 모델 층과 뇌 영역 간의 계층적 매핑을 시사한다. 또한 네 가지 서술 과제(다중 장면 요약, 전체 요약, 인물 동기, 사건 경계 탐지)는 영역별 특이적인 정렬 패턴을 드러낸다.

상세 분석

이 논문은 인간 뇌와 최신 멀티모달 대형 언어 모델(MLLM)의 표현이 어떻게 시간적 맥락에 따라 정렬되는지를 체계적으로 탐구한다. 먼저, 연구진은 네 개의 상업 영화(‘보른 서프라시’, ‘월 스트리트’, ‘히든 피겨스’, ‘라이프’)를 시청한 네 명의 피험자에게서 1.49 초 간격(TR)으로 수집된 fMRI 데이터를 사용했다. 데이터는 Glasser Atlas 기반 180개의 ROI와 Fedorenko 언어 파셀을 포함한 세밀한 영역 구분으로 전처리되었다.

시간 맥락을 조절하기 위해 3 s, 6 s, 9 s, 12 s 길이의 슬라이딩 윈도우를 적용했으며, 각 윈도우는 1.49 s 스트라이드로 겹치게 설정했다. 각 윈도우는 16프레임과 동기화된 오디오를 샘플링해 MLLM(Qwen‑2.5‑Omni, DA TE)과 단일 모달 비디오 모델(TimeSFormer, VideoMAE)에 입력하였다. 모델은 토큰 생성 과정에서 모든 트랜스포머 층의 은닉 상태를 추출하고, 토큰별 평균을 취해 레이어별 임베딩을 얻었다.

뇌‑모델 정렬 평가는 선형 인코딩 모델을 사용해 각 ROI의 voxel 활동을 예측하고, 교차‑피험자 예측 정확도를 통해 상한치를 추정했다. 주요 결과는 다음과 같다. 첫째, 클립 길이가 3 s에서 12 s로 늘어날수록 MLLM의 뇌 예측력이 일관되게 상승했으며, 특히 PCC, mPFC 등 디폴트 모드 네트워크 영역에서 큰 폭의 향상이 관찰되었다. 반면, TimeSFormer와 VideoMAE는 시간 창 확대에 거의 반응하지 않아, 멀티모달 통합 능력이 장기 맥락 처리에 핵심임을 시사한다.

둘째, 모델 층과 뇌 영역 간의 매핑은 명확한 계층 구조를 보였다. 초기 층(1‑4)은 시각·청각 초기 피질(예: V1, PTL)과 높은 정렬을 보였고, 중간 층(5‑12)은 언어 처리 전전두피질과 연결되었으며, 최상위 층(13‑36)은 고차 의미 통합 영역과 가장 높은 정렬을 나타냈다. 이는 인간 뇌가 시간적 스케일에 따라 계층적으로 정보를 축적한다는 기존 이론(Lerner et al., 2011)과 일치한다.

셋째, 네 가지 서술 과제는 영역별 특이적인 정렬 패턴을 유도했다. ‘전체 요약’과 ‘다중 장면 요약’은 고차 언어 영역(예: IFG, MTG)에서 가장 높은 정렬을 보였으며, 이는 장편 스토리의 전반적 의미를 포괄하는 작업이 해당 영역의 기능과 맞물린다는 점을 뒷받침한다. ‘인물 동기’ 과제는 인물 중심의 감정·동기 추론을 요구하므로, 전측 전두피질 및 측두 언어 영역에서 강한 정렬을 보였다. ‘사건 경계 탐지’는 시각·청각 전이 영역과 전두엽 전반에 걸쳐 고른 정렬을 나타냈으며, 이는 장면 전환 감지를 위한 급격한 신경 변화를 반영한다.

마지막으로, 가장 높은 뇌 예측력을 유발한 비디오 클립을 분석한 결과, 시각적 ROI에서는 클립 길이에 관계없이 동일한 시각적 특징(예: 빠른 움직임, 강렬한 색 대비)이 주도적인 반면, 고차 언어 ROI에서는 긴 클립이 포함하는 서사적 연결성(예: 인물 관계 변화, 플롯 전개)이 정렬을 크게 좌우했다. 이는 뇌가 영역별로 서로 다른 정보 차원을 활용한다는 중요한 증거다.

전반적으로 이 연구는 (1) 장기 시간 맥락이 멀티모달 모델과 뇌 정렬을 크게 향상시킨다, (2) 모델 층과 뇌 영역 사이에 명확한 시간‑계층 매핑이 존재한다, (3) 서술 과제 프롬프트는 특정 뇌 영역을 선택적으로 활성화한다는 세 가지 핵심 통찰을 제공한다. 이러한 결과는 장편 영상 이해를 위한 AI 모델 설계와, 인간 서사 처리 메커니즘을 탐구하는 신경과학 연구 모두에 중요한 지침을 제시한다.