뇌파 fMRI로부터 자연 장면을 BigBiGAN으로 복원
본 연구는 대규모 양방향 GAN인 BigBiGAN의 120차원 잠재공간을 이용해 fMRI 신호를 이미지로 복원한다. 훈련 이미지와 대응하는 잠재벡터를 선형 회귀로 연결한 뒤, 테스트 이미지에 대한 뇌활동을 동일 매핑으로 잠재벡터로 변환하고, 이를 BigBiGAN 생성기에 입력해 고해상도 자연 장면을 재구성한다. 이미지 쌍 디코딩 정확도는 84%에 달했으며, 인셉션-V3 기반 고수준 특징 유사도와 픽셀 수준 비교 모두 기존 방법보다 우수했다.
저자: Milad Mozafari, Leila Reddy, Rufin VanRullen
본 논문은 인간 시각 피질에서 측정된 기능적 자기공명영상(fMRI) 데이터를 이용해 자연 장면을 고해상도 이미지로 복원하는 새로운 프레임워크를 제시한다. 핵심은 최근 발표된 대규모 양방향 생성적 적대 신경망(BigBiGAN)을 활용하는 것이다. BigBiGAN은 이미지와 120차원 잠재벡터 사이를 양방향으로 매핑하는 인코더와 생성기로 구성되며, 이 잠재벡터는 이미지의 클래스, 포즈, 색채 등 고수준 속성을 압축한다.
연구는 먼저 공개된 fMRI 데이터셋(
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기