뇌를 연속적으로 그리다: 좌표 기반 신경반응 함수(NRF)로 voxel‑그리드 탈피

초록

본 논문은 fMRI 응답을 3차원 MNI 좌표에 조건화된 연속 함수로 모델링하는 Neural Response Function(NRF)을 제안한다. voxel을 평탄화해 독립 출력으로 다루던 기존 인코딩 모델의 공간적·주관적 한계를 극복하고, 지역적 부드러움과 교차 피험자 정렬을 활용해 데이터 효율성을 크게 향상시킨다. 실험 결과, NRF는 단일 피험자 인코딩과 새로운 피험자에 대한 적은 데이터로의 파인튜닝 모두에서 기존 모델을 능가한다.

상세 분석

NRF는 뇌 영상 데이터를 “벡터가 아니라 함수”라는 근본적인 관점 전환을 시도한다. 기존 인코딩 모델은 fMRI 볼륨을 1차원 벡터로 펼쳐 각 voxel을 독립적인 출력으로 학습한다. 이 방식은 (1) 인접 voxel 간의 공간적 상관관계를 무시하고, (2) 피험자마다 다른 voxel 그리드에 종속돼 모델 재사용이 불가능하다는 두 가지 구조적 결함을 내포한다. NRF는 이러한 문제를 해결하기 위해 두 가지 핵심 설계를 도입한다. 첫째, 이미지 특징 G(M)을 추출한 뒤, 좌표 x=(x,y,z)를 Fourier feature γ(x)로 변환한다. 둘째, G(M)와 γ(x)를 concatenate하여 MLP P에 입력함으로써 Φ(M,x)=P(G(M),γ(x)) 형태의 연속 함수를 학습한다. 이때 MLP은 좌표와 시각 자극을 동시에 고려하므로, 인접 좌표에 대한 예측이 자연스럽게 부드럽게 연결된다(지역적 스무스니스).

학습 단계에서는 각 배치마다 32개의 이미지와 각 이미지당 2,000개의 무작위 voxel을 샘플링해 손실 L= (1‑α)||r̂‑r||² + α·cos(∠(r̂,r)) 로 최적화한다. α=0.1로 설정해 MSE와 코사인 유사도를 균형 있게 반영한다. 이렇게 하면 절대값 오차뿐 아니라 예측 벡터의 방향성도 보존돼, 뇌 영역별 패턴을 더 정확히 포착한다.

교차 피험자 전이에서는 MNI 좌표계가 핵심 역할을 한다. 모든 피험자를 동일한 표준 공간에 정렬함으로써, 사전 학습된 NRF를 새로운 피험자 데이터에 최소한의 파인튜닝만으로 적용한다. 파인튜닝은 이미지 인코더 G와 좌표‑조건 MLP P 모두를 업데이트해 개인별 시각 처리 차이와 해부학적 변이를 동시에 반영한다. 추가적으로 K개의 파인튜닝 모델을 voxel‑별 가중치 w_{v,k}와 bias b_v 로 선형 결합하는 voxel‑wise ensemble을 도입해 예측 정확도를 더욱 끌어올린다.

실험 결과는 두 가지 축에서 NRF의 우수성을 입증한다. (1) 동일 피험자 내 인코딩 정확도: NRF는 기존 voxel‑wise 선형/비선형 모델 대비 Pearson r·값이 평균 10‑15% 상승했으며, 특히 시각 피질 전반에 걸쳐 부드러운 응답 맵을 재현한다. (2) 데이터 효율성: 훈련 샘플을 1/10 수준으로 줄여도 성능 저하가 미미했으며, 새로운 피험자에 대해 200~300개의 이미지만으로도 기존 모델 대비 2배 이상의 예측 정확도를 달성했다. 이는 지역적 스무스니스와 좌표 기반 전이가 데이터 희소 상황에서도 강건함을 제공한다는 증거다.

한계점으로는 (a) 현재는 3D 좌표만을 사용해 시각 피질 외 영역(예: 전전두엽)까지 일반화했는지에 대한 검증이 부족하고, (b) Fourier feature 차원 수와 MLP 깊이에 대한 민감도 분석이 제한적이며, (c) 실시간 추론을 위한 경량화 방안이 제시되지 않았다. 향후 연구에서는 멀티모달 입력(예: 청각, 언어)과 결합하거나, 신경과학적 해석을 위한 gradient‑based saliency map을 도입해 좌표‑조건 네트워크가 학습한 공간적 패턴을 시각화할 수 있을 것이다.

전반적으로 NRF는 fMRI 인코딩 모델에 “연속적, 해부학적, 교차 피험자 친화적”이라는 새로운 패러다임을 제시하며, 기존의 voxel‑grid 의존성을 탈피한 첫 번째 시도라 할 수 있다.