극저전력 마이크로컨트롤러 위의 생리학 인식 사전학습·양자화·배치 기반 양방향 Mamba EEG 모델

** 본 연구는 장시간 연속 뇌파 모니터링을 목표로 하는 웨어러블 디바이스에 적용 가능한 EEG Foundation Model을 제안한다. 기존 Transformer 기반 모델은 O(N²) 연산 복잡도로 인해 배터리 수명과 메모리 한계에 부딪히지만, 선형 복잡도를 갖는 State‑Space Model(SSM)인 Mamba를 기반으로 한 FEMBA는 이러한 제약을 근본적으로 해소한다. **1. 배경 및 필요성** EEG는 1920년대부터 임상 진단에 핵심적인 역할을 해왔으며, 최근에는 가정용 웨어러블, BCI, 정신건강 관리 등으로 활용 범위가 확대되고 있다. 그러나 지속적인 장시간 기록과 실시간 분석을 위해서는 초저전력, 초소형 하드웨어가 필수이며, 현재 대부분의 고성능 모델은 전력·메모리 요구량이 과다해 실제 착용형 디바이스에 적용하기 어렵다. **2. 관련 연구** 기존 EEG Foundation Model(BENDR, LaBraM, CBraMod 등)은 주로 Transformer 구조를 사용해 대규모 비지도 학습을 수행했지만, 고주파 잡음까지 복원하려는 마스크 기반 목표가 비생리학적 정보를 과다 학습하게 만든다. 또한, CNN 기반 경량 모델은 양자화에 강하지만 표현력에서 한계가 있다. **3. FEMBA 설계** - **아키텍처**: 양방향 Mamba(전·후 시퀀스 동시 처리)로 7.8 M 파라미터 규모, 채널 수 C=22, 시퀀스 길이 N=5 s(256 Hz) 입력을 O(C·N) 연산으로 처리. - **생리학 인식 사전학습**: 저역통과 필터(≤30 Hz)된 신호를 목표로 하는 재구성 손실을 도입, 고주파 잡음(EMG, 전원선) 복원을 억제한다. 이는 TUAB에서 AUROC 0.863→0.893, AUPR 0.862→0.898으로 크게 향상되었으며, 다른 데이터셋에서도 성능 저하 없이 안정적이다. - **양자화 인식 학습(QAT)**: 활성값 아웃라이어 문제를 해결하기 위해 가중치를 2‑bit, 활성값을 8‑bit로 양자화하는 학습 과정을 적용. PTQ 대비 W8A8, W4A8에서 AUROC 차이가 0.01 이하이며, W2A8에서도 실용적인 정확도를 유지한다. **4. 데이터 및 전처리** - **프리트레인**: TUEG(21 600 시간, 14 987명)에서 5 s 비중첩 윈도우 추출, 1‑75 Hz 밴드패스 + 60 Hz 노치, IQR 기반 정규화 적용. - **다운스트림**: TUAB(정상/비정상), TUAR(5가지 아티팩트), TUSL(슬로잉, 발작 등)에서 파인튜닝 및 평가. **5. 양자화 실험** - PTQ: W8A8에서 AUROC 0.89→0.77, 정확도 81 %→55 % 급락; W2A8 완전 실패. - QAT: W8A8, W4A8에서 FP32와 차이 ≤0.01, W2A8에서도 실용적 성능 확보. **6. 하드웨어 구현** - **플랫폼**: GAP9(RISC‑V, 8코어, 370 MHz, 2 MB SRAM). - **최적화**: SIMD 기반 Mamba 커널, 이중 버퍼 메모리 스트리밍, 레벨별 캐시 활용. - **성능**: 5 s 윈도우당 1.70 s 추론, 평균 전력 44.1 mW, 추론당 에너지 75 mJ. - **메모리**: 모델 크기 7.8 MB→≈2 MB(2‑bit 가중치)로 74 % 감소, FLOPs는 Transformer 대비 최대 27배 절감. **7. 결과 및 의의** - 생리학 인식 사전학습은 신호의 핵심 주파수 대역에 집중하게 하여 전반적인 일반화 능력을 향상시킨다. - QAT 기반 초저비트 양자화는 SSM 특유의 활성값 아웃라이어 문제를 해결, MCU 수준에서도 FP32와 동등한 정확도를 제공한다. - 전체 스택(데이터, 모델, 양자화, 하드웨어) 구현을 통해 최초로 대규모 EEG Foundation Model을 초저전력 웨어러블에 실시간 배치함으로써, 장시간 연속 뇌전도 모니터링(예: 간질, 수면장애) 가능성을 열었다. **8. 한계 및 향후 연구** - 현재는 5 s 윈도우와 256 Hz 샘플링에 최적화돼 있어 초고해상도(≥500 Hz) 혹은 초장시간(≥30 s) 스트림에 대한 추가 최적화가 필요하다. - 양자화는 가중치 2‑bit에 국한됐으며, 활성값을 4‑bit 이하로 낮추는 연구가 진행 중이다. - 실제 임상 환경에서의 장기간 착용 테스트와 전력 관리(에너지 하베스팅 등)와의 통합이 다음 단계이다. **