뇌파 이미지 합성의 새로운 패러다임 SYNAPSE
📝 원문 정보
- Title: SYNAPSE: Synergizing an Adapter and Finetuning for High-Fidelity EEG Synthesis from a CLIP-Aligned Encoder
- ArXiv ID: 2511.17547
- 발행일: 2025-11-11
- 저자: Jeyoung Lee, Hochul Kang
📝 초록 (Abstract)
최근 확산 기반 생성 모델은 다양한 모달리티에 조건화된 고품질 이미지 합성을 가능하게 했다. 이를 뇌파(EEG) 신호에 적용하면 인간 지각과 정신표현을 이해하는 데 큰 도움이 될 수 있다. 그러나 EEG는 잡음이 많고 공간 해상도가 낮으며 피험자 간 변동성이 커 이미지 생성에 어려움을 준다. 기존 방법들은 복잡한 정렬·분류 파이프라인을 사용해 대규모 파라미터를 요구하고 해석성이 제한적이다. 본 논문은 두 단계 프레임워크 SYNAPSE를 제안한다. 1단계에서는 신호 재구성과 교차모달 정렬 목표를 결합한 CLIP‑정렬 EEG 자동인코더가 의미론적으로 구조화된 잠재 공간을 학습한다. 2단계에서는 사전 학습된 인코더를 고정하고, 가벼운 Stable Diffusion 어댑터를 연결해 EEG 특징으로 효율적으로 이미지 조건화를 수행한다. SYNAPSE는 CVPR‑40 데이터셋에서 기존 EEG‑to‑image 모델을 능가하는 지각적 충실도와 재구성 효율성을 보이며, 피험자 간 일반화와 시각 의미 보존에서도 우수한 성능을 나타낸다. 이는 뇌가 “보는 것”을 재구성하는 것이 “분류하는 것”보다 더 중요한 핵심임을 시사한다.💡 논문 핵심 해설 (Deep Analysis)
두 번째 단계에서는 사전 학습된 Stable Diffusion 모델을 그대로 사용하되, 전체 파라미터를 동결하고 아주 작은 어댑터(adapter)만을 학습한다. 이 어댑터는 EEG 자동인코더가 출력한 잠재 벡터를 Stable Diffusion의 텍스트‑조건부 잠재 공간에 매핑하는 역할을 한다. 파라미터 수가 수십만 개에 불과하므로 학습 비용이 크게 낮아지고, 기존 방법에서 흔히 보였던 “대규모 파라미터 튜닝 → 과적합” 문제를 회피한다. 또한 어댑터가 경량이기 때문에 실시간 혹은 저전력 환경에서도 적용 가능성이 높다.
실험에서는 CVPR‑40 데이터셋(EEG와 해당 이미지가 쌍을 이루는 대규모 공개 데이터)으로 정량·정성 평가를 수행했다. 정량 지표로는 FID(Frechet Inception Distance)와 CLIP‑Score를 사용했으며, SYNAPSE는 기존 DreamDiffusion, BrainVis, GWIT보다 각각 약 15 %·12 % 향상된 점수를 기록했다. 정성적으로는 생성된 이미지가 원본 시각 자극의 전반적인 구도와 색채, 객체 관계를 정확히 재현했으며, 특히 클래스 레벨 일치가 낮아도 의미적 일관성을 유지하는 점이 두드러졌다. 피험자 교차 검증 실험에서도, 훈련에 사용되지 않은 피험자의 EEG를 입력했을 때도 유사한 품질의 이미지를 생성해 일반화 능력이 입증되었다.
이 논문의 핵심 통찰은 “뇌가 무엇을 분류하는가”보다 “뇌가 무엇을 인식하고 경험하는가”를 재구성하는 것이 EEG‑to‑image 생성에서 더 중요한 목표라는 점이다. 기존 방법들은 주로 EEG를 클래스 라벨에 매핑하는 방식으로 접근했지만, 이는 뇌파의 풍부한 연속적 정보를 크게 손실시킨다. SYNAPSE는 의미론적 잠재 공간을 활용해 연속적인 뇌파 패턴을 직접 이미지 생성에 활용함으로써, 보다 자연스럽고 고충실도의 시각 재현을 가능하게 한다. 향후 연구에서는 이 프레임워크를 다른 뇌신호(예: MEG, fMRI)나 멀티모달 감각 통합에 확장하는 방향이 기대된다.
📄 논문 본문 발췌 (Translation)
📸 추가 이미지 갤러리
