뇌속 시각 개념 탐색: 대규모 자동 해석 프레임워크 BrainExplore

초록

BrainExplore는 fMRI 데이터를 무감독 분해하여 수천 개의 해석 가능한 뇌 패턴을 자동으로 발견하고, 각 패턴을 최고 활성 이미지와 자연어 설명으로 연결한다. 이미지‑fMRI 예측 모델을 활용한 데이터 증강과 Sparse Autoencoder 기반 분해를 도입해 기존 방법보다 더 풍부하고 미세한 시각 표현을 포착한다.

상세 분석

본 논문은 인간 시각 피질 전반에 걸친 시각 개념을 대규모로 자동 탐색·해석하는 새로운 파이프라인을 제시한다. 첫 단계는 ROI 별로 fMRI 신호를 PCA, NMF, ICA, 그리고 Sparse Autoencoder(SAE)와 같은 무감독 분해 기법으로 분해한다. 여기서 중요한 점은 이미지 특성이나 라벨을 전혀 사용하지 않아, 뇌 자체의 통계적 구조만으로 패턴을 추출한다는 것이다. 두 번째 단계에서는 각 컴포넌트에 대해 가장 높은 계수를 가진 상위 N개의 이미지(실제 측정 혹은 이미지‑fMRI 예측 모델을 통해 생성된 가상 이미지)를 수집한다. 이후 대규모 사전 구축된 “뇌‑영감 개념 사전”과 자연어 처리 모델을 결합해, 이미지 집합에 가장 잘 맞는 텍스트 라벨을 자동으로 생성하고 정량적 정합 점수를 부여한다. 정합 점수는 이미지‑텍스트 매칭, 라벨 일관성, 그리고 패턴 재현성 등을 종합해 계산되며, 이를 통해 가장 해석 가능한 패턴을 선별한다.

데이터 증강 전략도 눈에 띈다. 기존 NSD 데이터는 피험자당 약 10 k개의 실제 이미지‑fMRI 쌍만 제공하지만, 저자들은 Beliy et al.의 이미지‑fMRI 인코더를 이용해 120 k개의 추가 이미지를 합성한다. 이렇게 확장된 데이터셋은 분해 단계에서 더 많은 변동성을 포착하게 하며, 특히 고차원 SAE가 과도한 희소성을 유지하면서도 풍부한 패턴을 학습하도록 돕는다.

실험 결과는 두드러진다. 기존 방법(PCA, NMF, ICA)으로는 주로 저수준 색·형태 혹은 전통적인 카테고리(얼굴, 장면)와 연관된 패턴만이 도출되었지만, SAE는 사람의 자세, 손 동작, 물체의 복합적 상호작용 등 미세하고 다중 의미를 갖는 패턴을 추가로 발견한다. 또한, 자동 정합 점수를 이용해 패턴을 정량적으로 평가함으로써, 동일 ROI 내에서도 서로 다른 분해 방법이 포착한 패턴을 비교·통합할 수 있다.

한계점으로는 가상 fMRI 예측의 정확도가 실제 측정과 차이가 있을 수 있다는 점, 그리고 라벨링 사전이 사전 정의된 개념에 의존한다는 점을 들 수 있다. 향후에는 더 다양한 언어 모델과 인간 평가를 결합해 라벨의 신뢰성을 높이고, 뇌-언어 연결을 심층적으로 탐구할 여지가 있다.