뇌파에서 얼굴을 재구성하는 딥 생성 모델 활용

초록

본 연구는 변분 오토인코더와 GAN을 결합한 1024차원 잠재공간을 이용해 fMRI 신호를 얼굴 이미지로 복원한다. 수천 장의 얼굴 자극을 통해 뇌활동과 잠재벡터 사이의 선형 매핑을 학습하고, 테스트 단계에서 새로운 뇌패턴을 해당 잠재코드로 변환해 실제와 유사한 얼굴을 재구성한다. 쌍별 디코딩 정확도 95% 이상, PCA 기반 대비 유의미한 성능 향상을 보였으며, 성별 분류와 상상된 얼굴 복원까지 가능함을 확인했다. 연구진은 현대 딥 생성 모델의 잠재공간이 인간 뇌의 얼굴표현을 근사할 수 있다고 제안한다.

상세 분석

이 논문은 뇌영상 해독(brain decoding) 분야에서 가장 어려운 과제 중 하나인 ‘동일 범주 내 세부 차이’를 해결하기 위해 최신 딥러닝 생성 모델을 도입했다. 저자들은 먼저 대규모 연예인 얼굴 데이터셋을 이용해 VAE‑GAN 구조를 학습시켰다. VAE는 입력 이미지를 1024차원 잠재벡터로 압축하고, GAN 디코더는 이 벡터를 고해상도 얼굴 이미지로 복원한다. 중요한 점은 이 잠재공간이 연속적이고 의미론적으로 정렬되어 있어, 얼굴의 조화, 조명, 표정 등 다양한 변이를 선형적으로 조작할 수 있다는 것이다.

뇌신호와 잠재벡터 사이의 매핑은 매우 단순한 선형 회귀 모델로 구현되었다. 실험 참가자에게 수천 장의 얼굴을 순차적으로 제시하고, 각 자극에 대응하는 fMRI 패턴을 수집했다. 이후 다중 회귀 분석을 통해 각 뇌볼륨(보통 2000~3000 voxel)과 1024 차원의 잠재벡터 사이의 가중치를 추정하였다. 이 과정에서 정규화와 교차검증을 적용해 과적합을 방지했으며, 잠재벡터의 차원을 줄이는 대신 전체 차원을 유지함으로써 정보 손실을 최소화했다.

테스트 단계에서는 새로운 얼굴에 대한 fMRI 데이터를 입력으로 받아, 학습된 선형 변환을 통해 잠재코드를 예측하고, GAN 디코더를 통해 시각적 재구성을 수행했다. 정량적 평가는 두 가지 방식으로 이루어졌다. 첫째, 재구성된 얼굴과 원본 이미지 사이의 피어슨 상관계수를 이용한 연속적 유사도 측정; 둘째, 쌍별 디코딩 실험으로, 두 이미지 중 어느 것이 실제 뇌패턴에 더 가까운지를 판단하게 하여 95% 이상의 정확도를 얻었다.

베이스라인으로는 동일 데이터에 PCA를 적용해 차원 축소 후 선형 매핑을 수행했는데, 이 경우 쌍별 정확도가 약 78%에 머물렀다. 이는 VAE‑GAN 잠재공간이 뇌의 얼굴 표현을 더 잘 포착한다는 강력한 증거다. 추가 실험으로, 잠재벡터의 특정 차원을 조작해 성별, 연령, 감정 등 메타 정보를 추출했으며, fMRI 기반 성별 분류 정확도가 87%에 달했다. 더 흥미로운 것은 피험자가 얼굴을 ‘상상’했을 때도 뇌패턴을 통해 해당 얼굴을 재구성할 수 있었으며, 이는 내적 이미지가 시각 피질에 구체적인 잠재표현을 형성한다는 가설을 뒷받침한다.

전체적으로 이 연구는 (1) 현대 생성 모델의 잠재공간이 뇌의 고차원 시각 표현과 구조적으로 일치한다, (2) 복잡한 비선형 이미지 정보를 선형 매핑만으로도 충분히 해독할 수 있다, (3) 뇌-모델 인터페이스를 통해 인지·상상 과정을 정량화하고 시각화할 수 있는 새로운 패러다임을 제시한다는 점에서 의미가 크다. 다만, 선형 매핑에 의존하는 한계와 fMRI 해상도·신호‑노이즈 비율에 따른 재구성 품질 변동성, 그리고 VAE‑GAN 자체의 편향 문제는 향후 연구에서 보완해야 할 과제로 남는다.