깊은 모델의 얕은 정렬: 신경 디코딩의 세밀도 불일치 해소

초록

본 논문은 인간 시각과 최신 딥 비전 모델 사이에 존재하는 “세밀도 불일치” 문제를 지적하고, 신경 신호를 모델의 최종 출력이 아닌 중간 계층 표현에 맞추는 ‘Shallow Alignment’ 전략을 제안한다. 대비 학습을 통해 중간 특징을 정렬함으로써 저수준 텍스처와 고수준 의미를 동시에 보존하고, 다양한 백본에서 22%~58%의 성능 향상을 달성한다. 또한, 모델 용량과 디코딩 성능 사이에 예측 가능한 스케일링 법칙을 발견한다.

상세 분석

이 연구는 신경 시각 디코딩이 뇌‑컴퓨터 인터페이스 분야에서 핵심 과제임을 전제로, 기존 접근법이 대규모 사전학습 비전 모델(예: CLIP)의 최종 레이어 임베딩에 신경 신호를 맞추는 것이 근본적인 한계임을 지적한다. 최신 비전 모델은 “semantic invariance”를 목표로 설계돼 저수준 텍스처와 색상 같은 세부 정보를 의도적으로 억제한다. 반면 EEG·MEG와 같은 비침습적 신경 기록은 저수준 시각 속성(컨투어, 색채, 주파수)과 고수준 의미 정보를 동시에 포함한다. 이러한 차이를 “granularity mismatch”라 명명하고, 이는 대비 학습 시 동일한 고수준 의미를 공유하는 서로 다른 이미지가 신경 패턴 상에서 구분되지 못하게 만들어 학습 효율을 저하시킨다.

논문은 이 문제를 해결하기 위해 ‘Shallow Alignment’를 제안한다. 구체적으로, 사전학습된 비전 인코더 Eφ의 L개의 계층 중 하나(l*)를 선택해, 해당 계층의 특징 맵 h(l*)를 풀링(Pool)하여 고정 차원의 시각 임베딩 zI를 만든다. 신경 인코더 fθ는 원시 EEG/MEG 데이터를 ZN으로 변환하고, 선형 프로젝션 WN, WI를 통해 공유 잠재 공간에 매핑한다. 이후 대칭 코사인 대비 손실(Lc)을 적용해 매칭 쌍은 유사도를 높이고, 배치 내 비매칭 쌍은 분리하도록 학습한다. 핵심 설계는 (1) 중간 계층이 저수준 구조와 고수준 의미를 동시에 보유해 “Granularit y Balance”를 제공한다는 점, (2) 선형 프로젝션을 사용해 모델 용량을 제한함으로써 성능 향상이 비전 백본 자체의 표현력에 기인함을 보장한다는 점이다.

실험은 THINGS‑EEG와 THINGS‑MEG 두 대규모 데이터셋을 활용한다. 백본으로는 ResNet‑50/101, ViT‑B/16, ViT‑H/14, ViT‑bigG/14, DINOv2, EVA‑02, InternViT 등 다양한 규모와 아키텍처를 포함한다. 평가 지표는 200‑way zero‑shot 이미지‑신경 검색의 Top‑1/Top‑5 정확도이며, intra‑subject와 inter‑subject 두 설정을 모두 보고한다. 결과는 Shallow Alignment이 모든 백본에서 기존 최종‑레이어 정렬 대비 평균 22%~58%의 정확도 향상을 보이며, 특히 대형 Vision Transformer와 DINOv2에서 스케일링 법칙이 뚜렷하게 나타난다. 즉, 백본 용량이 커질수록 중간 계층의 표현력이 풍부해져 신경 디코딩 성능이 예측 가능하게 상승한다.

또한, 기존 방법인 UBP, NeuroBridge가 이미지 블러링·노이즈 등으로 시각 복잡성을 인위적으로 낮춰 “implicit granularity adaptation”을 수행한 것과 달리, 본 방법은 명시적으로 중간 계층을 선택함으로써 고해상도 텍스처 손실 없이도 정렬 효율을 극대화한다. 한계점으로는 (1) 최적 l* 선택이 데이터셋·백본에 따라 달라질 수 있어 자동화된 탐색 전략이 필요하고, (2) EEG/MEG의 낮은 SNR 특성상 선형 프로젝션 외에 비선형 정규화 기법이 추가될 경우 더 큰 이득을 얻을 수 있다는 점을 제시한다. 향후 연구는 (a) 다중 계층을 동시에 정렬하는 멀티‑스케일 대비 손실, (b) fMRI와 같은 고해상도 신경 기록과의 확장, (c) 실시간 BCI 적용을 위한 경량화 모델 설계 등을 제안한다.

전반적으로 이 논문은 인간 시각 처리와 딥 비전 모델 사이의 구조적 차이를 정량화하고, 중간 계층 정렬이라는 간단하지만 강력한 해결책을 제시함으로써 신경 시각 디코딩 분야에 새로운 스케일링 패러다임을 제시한다.