뇌파 fMRI로 현실감 있는 이미지 재구성 DCNN GAN 접근법

초록

본 논문은 fMRI 신호를 이용해 사람이 본 이미지를 실제와 가까운 형태로 복원하기 위해, VGG‑19 기반 특징 추출, Ridge 회귀 기반 디코더, 그리고 조건부 GAN(pix2pix)으로 구성된 DCNN‑GAN 파이프라인을 제안한다. 실험 결과, 기존 선형 회귀 기반 방법보다 디코딩 정확도가 향상되고, GAN을 통한 이미지 정제로 시각적 품질과 텍스처가 크게 개선되었으며 실시간 복원이 가능함을 보였다.

상세 분석

본 연구는 fMRI 데이터의 고차원·저샘플 특성을 극복하기 위해 세 단계의 모듈을 연계한 하이브리드 모델을 설계하였다. 첫 번째 단계는 사전 학습된 VGG‑19 네트워크의 마지막 완전 연결층(fc7) 출력을 4096 차원의 특징 벡터 z 로 추출함으로써, 이미지의 시맨틱 정보와 카테고리 라벨 c 를 동시에 보존한다. 이때 VGG‑19의 깊은 층을 이용하면 인간 시각 피질이 처리하는 계층적 정보를 신경망 특성에 매핑할 수 있다는 신경과학적 근거를 제공한다.

두 번째 단계는 fMRI → 특징(z) 매핑을 수행하는 디코더이다. 기존 연구에서 사용된 일반 최소제곱(OLS) 회귀는 정규화가 없어 과적합과 수치 불안정성을 야기했으나, 본 논문은 L2 정규화(Tikhonov) 를 적용한 Ridge 회귀를 채택하였다. 손실 함수 L(w,b)=‖z−(Xw+b)‖²+α‖w‖² 를 최소화함으로써, 2700개의 샘플에 비해 4400개의 뇌 voxel 을 효과적으로 압축하고, R² 점수가 -0.31에서 0.32로 크게 개선되는 등 디코딩 정확도가 실질적으로 향상되었다.

세 번째 단계는 디코딩된 특징을 시각적 이미지로 변환하는 재구성 네트워크 R 과, 이를 정제하는 조건부 GAN(G,D)이다. R 은 4096 차원의 벡터를 7×7×512 텐서로 변환한 뒤, 연속적인 디컨볼루션 층을 거쳐 112×112×3 크기의 거친 이미지 R(z)를 생성한다. 이 거친 이미지는 구조적 정보는 유지하지만 텍스처와 색감이 부족한데, 여기서 GAN이 카테고리 라벨 c 를 조건으로 받아 이미지 도메인에 대한 사전(prior)을 주입한다. 조건부 GAN의 손실은 L_cGAN + λL₁ + θL₂ 로 구성되어, 생성자는 픽셀 수준 L₁ 손실로 원본과의 차이를 최소화하고, 판별자는 진위 구분을 통해 현실성을 강화한다. 이러한 설계는 (1) fMRI 로부터 얻은 제한된 정보에 의미 있는 시맨틱 디테일을 보강하고, (2) 기존의 반복 최적화 방식보다 빠른 단일 패스 추론을 가능하게 한다.

실험에서는 ImageNet(ILSVRC2012)과 해당 이미지에 대한 fMRI 데이터(VC 영역, 4466 voxel, 2700 샘플)를 사용하였다. 모델 학습은 200 epoch(재구성 네트워크)와 500 epoch(GAN)으로 진행했으며, Adam 옵티마이저와 학습률 스케줄링을 적용했다. 정량적 평가는 R²와 RMSE 로 디코딩 정확도를 비교했으며, 인간 인지 실험에서는 40명 이상의 피험자에게 기존 모델 대비 DCNN‑GAN 결과가 55.7%의 선호도를 얻어, 주관적 만족도 역시 20.1%로 상승했다.

핵심 기여는 (i) VGG‑19 기반 특징 압축으로 디코더 학습 부담을 경감, (ii) Ridge 회귀를 통한 안정적 fMRI‑특징 매핑, (iii) 조건부 GAN을 활용한 카테고리‑특화 이미지 정제이며, 이는 기존의 텍스처 손실·느린 반복 최적화 문제를 동시에 해결한다. 또한 실시간 복원이 가능하도록 설계된 점은 뇌‑컴퓨터 인터페이스 및 신경과학 시각화 분야에 실용적 파급 효과를 기대하게 한다.