계층적 EEG‑텍스트 디코딩: 추상 수준별 인지 표현 탐구

본 논문은 EEG‑to‑text 디코딩에서 ‘추상 수준’이라는 새로운 평가 차원을 제시한다. 저자들은 먼저 PEERS 데이터셋을 활용해 931 538개의 EEG 샘플과 1 610개의 객체 라벨을 확보하였다. 이 데이터는 264명의 피험자가 다양한 인지 과제(시각 인지, 의사결정, 산술 연산)를 수행하면서 수집된 것으로, 실험실 환경에서의 전형적인 ‘짧은 이미지 보기’와는 달리 현실적인 인지 과정과 높은 변동성을 포함한다. 데이터 전처리 단계에서는 세 가지 전극 레이아웃(129‑채널 GSN 200, 129‑채널 HydroCel GSN, 128‑채널 BioSemi)을 96채널로 통일하기 위해 k‑최근접 이웃 매핑을 적용하였다. 이후 평균 재참조, 200 Hz 다운샘플링, 0.3‑75 Hz 밴드패스 필터링, 1 초 윈도우 추출을 수행해 모든 샘플을 동일한 형식으로 정규화하였다. 다음으로, WordNet의 IS‑A 관계를 이용해 모든 단어를 리프 노드로 하는 DAG(Directed Acyclic Graph)를 구축하였다. 각 리프 노드(단어)는 가장 가까운 동의어 synset을 부모로 삼고, 그 상위 하이퍼넘 경로를 따라 루트까지 연결한다. 너무 일반적인 단어(예: ‘동물’, ‘생물’)는 형제 수와 전체 하위 노드 수를 비교해 45 % 이상 차지하는 경우 제거하였다. 이렇게 만든 DAG는 훈련, 검증, 테스트 각각에 대해 별도로 재구성되었으며, 이를 기반으로 ‘에피소드’를 정의한다. 에피소드는 특정 내부 노드(예: ‘과일’, ‘가구’)를 선택해 그 하위 리프 노드들을 클래스 집합으로 삼는 작업이며, 노드 깊이에 따라 클래스 수와 추상 수준이 달라진다. 학습 방법은 크게 두 갈래로 나뉜다. 비에피소드(전통적인) 학습에서는 전체 라벨 집합을 한 번에 사용해 CNN, EEG‑Net, Transformer 기반 모델을 훈련시켰다. 에피소드 기반 학습에서는 메타‑러닝 알고리즘인 MAML, fo‑MAML, Proto‑MAML을 적용하였다. 각 에피소드는 N‑way K‑shot 형태(예: 5‑way 1‑shot, 20‑way 5‑shot)로 구성되며, 지원 집합(Support)과 질의 집합(Query)으로 나뉜다. MAML은 에피소드마다 마지막 레이어를 재구성하고, 내부 파라미터를 몇 차례 업데이트한 뒤 전체 에피소드 손실을 역전파한다. fo‑MAML은 2차 미분을 생략해 계산 효율성을 높였으며, Proto‑MAML은 클래스별 프로토타입을 초기 가중치로 사용해 빠른 수렴을 돕는다. 실험 결과는 두드러진 패턴을 보였다. 전체 라벨을 한 번에 학습한 비에피소드 모델은 대부분의 경우 거의 무작위 수준(≈5% 정확도)에 머물렀다. 반면, 에피소드 기반 메타‑러닝 모델은 추상 수준이 높은 에피소드(예: ‘동물’, ‘가구’)에서 20~30%p 정도의 정확도 향상을 기록했다. 특히, 5‑way 5‑shot 에피소드에서는 Proto‑MAML이 가장 높은 성능을 보였으며, 이는 프로토타입 기반 초기화가 소수 샘플 상황에서 유리함을 의미한다. 추상 수준이 낮은(세부) 에피소드에서는 모든 모델이 낮은 정확도를 보였으며, 이는 EEG 신호가 미세한 시각적 차이를 충분히 포착하지 못한다는 기존 연구와 일치한다. 또한, 최신 self‑supervised 사전학습 모델(예: TUEG 기반 Transformer)도 에피소드 평가에서는 비에피소드 대비 약간의 개선을 보였지만, 절대적인 성능은 여전히 낮았다. 이는 데이터 자체의 SNR 한계와, 현재의 신경망 구조가 EEG의 고차원 의미 정보를 충분히 활용하지 못한다는 점을 시사한다. 결론적으로, 저자들은 “EEG는 세부 시각 정보를 정확히 구분하기는 어렵지만, 객체 개념의 추상적 의미(예: ‘동물’ vs ‘식물’)는 어느 정도 인코딩한다”는 중요한 발견을 제시한다. 이를 위해 계층적 에피소드 샘플링이라는 방법론을 도입했으며, 이는 향후 EEG 기반 BCI에서 의미 수준에 따라 적절한 분류 granularity를 선택하거나, 멀티모달(시각·청각·언어) 통합 모델을 설계하는 데 유용한 프레임워크가 될 것이다. 향후 연구 방향으로는 (1) 더 깊은 언어‑뇌 연결 모델 개발, (2) 실시간 적응형 메타‑러닝 적용, (3) 고해상도 뇌영상(MEG, fMRI)과의 융합을 통한 추상 수준 정밀 측정 등이 제시된다.