MEG컨포머 기반 뇌파 음성 및 음소 분류

초록

본 논문은 306채널 MEG 신호를 입력으로 하는 경량 Conformer 모델을 설계·학습하여 LibriBrain 2025 PNPL 벤치마크의 Speech Detection과 Phoneme Classification 두 과제를 해결한다. MEG 전용 SpecAugment, 인스턴스 정규화, 역제곱근 클래스 가중치, 동적 그룹 로더 등 여러 실용적 기법을 도입해 표준 트랙에서 각각 88.9%와 65.8%의 F1‑macro 점수를 달성했으며, 특히 음소 분류에서 우승하였다.

상세 분석

본 연구는 비침습적 MEG 데이터를 활용한 음성 및 음소 디코딩이라는 두 핵심 과제에 최신 ASR 아키텍처인 Conformer를 효과적으로 적용한 점이 가장 큰 강점이다. 306채널의 고차원 시계열을 1D 컨볼루션으로 144차원으로 압축한 뒤, Conformer 블록을 통해 전역적인 self‑attention과 지역적인 depthwise convolution을 동시에 학습한다는 설계는 시공간적 패턴을 모두 포착할 수 있게 한다. Speech Detection에서는 2.5 s(625 샘플) 윈도우와 60 샘플 스트라이드 슬라이딩 윈도우를 사용해 데이터 다양성을 확보하고, MEG‑specific SpecAugment(MEGAugment)를 적용해 시간 마스킹과 주파수 밴드 스톱 마스킹을 수행한다. 이는 EEG·MEG 특유의 저주파 진동과 고주파 잡음에 대한 강인성을 높인다. 또한, 라벨 스무딩(0.1)과 BCE‑with‑logits 손실을 결합해 과적합을 방지한다.

Phoneme Classification에서는 0.5 s(125 샘플) 윈도우와 100‑샘플 평균화된 데이터를 사용한다. 여기서 핵심은 인스턴스 레벨 정규화(instance‑norm)이다. 윈도우별 평균·분산을 실시간으로 계산해 채널별 스케일을 정규화함으로써, 훈련·검증·테스트와는 다른 통계적 특성을 가진 holdout 데이터셋에서 발생하는 분포 이동을 크게 완화한다. 논문은 배치 정규화와 레이어 정규화가 holdout 성능을 각각 +17.8%·+88.2% 향상시킨 반면, 인스턴스 정규화는 +200% 이상 개선했음을 실험적으로 입증한다.

클래스 불균형 문제는 역제곱근 가중치(ISNS)를 적용해 완화했으며, 동적 그룹 로더를 통해 동일 클래스의 100‑샘플 평균을 매 epoch마다 무작위 재구성한다. 이는 모델이 동일 음소에 대한 다양한 평균 샘플을 학습하도록 하여 일반화 능력을 크게 높인다. 최종적으로 5개의 시드 모델을 앙상블하고 다수결 투표로 예측을 결정함으로써 단일 모델 대비 약 19.5%의 F1‑macro 상승을 달성했다.

실험 결과는 Conformer Small(16 레이어, 4 헤드)과 맞춤형 Conformer(7 레이어, 12 헤드) 모두 높은 성능을 보였으며, 특히 음소 분류에서 맞춤형 모델이 약간의 이점을 제공한다. Ablation study와 Wilcoxon signed‑rank test를 통해 각 기법의 유의미성을 검증했으며, 윈도우 길이 확대, 스트라이드 감소, 동적 그룹 로더 등이 가장 큰 성능 기여 요인으로 확인되었다. 전체적으로, 최신 ASR 모델을 MEG 데이터에 맞게 경량화하고, 데이터 특성에 최적화된 전처리·정규화·증강 기법을 결합함으로써 비침습 뇌‑컴퓨터 인터페이스 분야에서 실용적인 성능 향상을 이끌어냈다.