시간‑주파수 모티프 학습 기반 단일채널 EEG 토크나이저

초록

TFM‑Tokenizer는 단일채널 EEG 신호에서 시간‑주파수 모티프를 학습해 고정된 토큰 vocab을 구축하고, 이를 다양한 EEG 기반 foundation model에 입력으로 제공한다. dual‑path 구조와 시간‑주파수 마스킹을 통해 잡음에 강인한 토큰을 생성하며, 4개 벤치마크와 ear‑EEG 수면 단계에서 기존 모델 대비 11%~14%의 Cohen’s Kappa 향상을 달성한다.

상세 분석

본 논문은 EEG 토크나이징이라는 아직 초기 단계인 연구 영역에 대해 체계적인 해결책을 제시한다. 첫 번째 핵심은 “단일채널” 접근이다. 기존 EEG foundation model은 10‑20 전극 배열을 전제로 하여 다채널 데이터를 그대로 입력하거나, 짧은 윈도우를 연속적으로 나누어 연속형 임베딩을 만든다. 그러나 실제 임상·현장에서는 귀‑EEG, 헤드밴드 등 다양한 장치와 채널 구성이 존재한다. 저자는 모든 채널을 동일한 토크나이저에 투입해 채널‑불변적인 토큰 vocab을 학습함으로써, 이후 다채널 모델링 단계에서 토큰 시퀀스만을 조합해 사용하도록 설계했다. 이는 토큰 자체가 채널 정보를 내포하지 않으면서도, downstream transformer가 자유롭게 채널 간 관계를 학습하도록 만든다.

두 번째는 “시간‑주파수 모티프” 학습이다. EEG는 저주파 알파·베타부터 고주파 스파이크까지 다양한 스펙트럼 성분이 동시에 존재한다. 저자는 각 패치에 대해 Localized Spectral Window Encoder를 적용해 주파수 축을 P개의 패치로 분할하고, 각 패치를 개별적으로 GroupNorm‑GeLU‑Linear 변환 후 Frequency Transformer로 intra‑window 주파수 의존성을 모델링한다. 이어서 Gated Patchwise Aggregation을 통해 중요 주파수 패치를 강조하고 불필요한 대역을 억제한다. 이렇게 얻어진 주파수 임베딩(EF)와 원시 시간 임베딩(ET)을 concat한 뒤 Temporal Transformer에 입력해 장시간 의존성을 포착한다.

세 번째는 “시간‑주파수 마스킹” 목표이다. 마스크는 두 차원(시간, 주파수)에서 무작위로 적용되며, 모델은 마스크된 영역을 복원하도록 학습한다. 이는 VQ‑VAE 기반 코드북에 토큰을 매핑하기 전, 임베딩이 순수히 모티프 정보를 담도록 강제한다. 마스크 복원 손실은 cross‑entropy 형태로 토큰 레벨에서 계산되며, 토큰 자체가 의미 있는 클래스‑특이적, 주파수‑특정 패턴을 내포하게 만든다.

실험에서는 TUEV, SEED, BCI‑IV 등 네 개의 공개 EEG 데이터셋에서 단일·다중 데이터셋 사전학습을 수행했으며, BIOT, LaBraM 등 기존 foundation model에 플러그‑인했을 때 평균 4%~11%의 Cohen’s Kappa 상승을 보고했다. 특히 ear‑EEG 수면 단계(다중 채널, 다른 샘플링 레이트, 비표준 전극)에서는 14% 향상을 기록, 토큰이 장치‑불변성을 확보함을 실증했다. 토큰 분석에서는 (1) 클래스별 토큰 분포가 명확히 구분되고, (2) 특정 토큰이 알파·베타·감마 등 주파수 대역에 강하게 매핑되며, (3) 동일 토큰이 서로 다른 세션에서도 일관된 스펙트럼 패턴을 보이는 등 해석 가능성을 입증했다.

한계점으로는 코드북 크기와 토큰 길이 선택이 성능에 민감하다는 점, 그리고 현재는 토큰을 고정하고 downstream 모델만 학습하는 “freeze‑then‑fine‑tune” 방식이 사용돼 토큰‑모델 간 공동 최적화 가능성을 탐색하지 않은 점을 들 수 있다. 향후 연구에서는 토큰‑모델 공동 학습, 멀티모달(EEG‑텍스트‑이미지) 연계, 실시간 임베딩 추출을 위한 경량화 등을 제안한다.

요약하면, TFM‑Tokenizer는 (1) 단일채널 기반 토큰화로 장치·채널 독립성을 확보, (2) 시간‑주파수 마스킹과 dual‑path 인코더로 잡음에 강인하고 의미 있는 모티프 토큰을 학습, (3) 다양한 foundation model에 플러그‑인해 전반적인 성능과 일반화 능력을 크게 향상시키는 혁신적인 프레임워크이다.