뇌기반 모델로 실시간 인지 부하 추정 및 해석 가능성 강화

초록

본 논문은 대규모 사전학습 뇌 기반 모델(BFM)을 활용해 EEG에서 인지 부하를 연속적으로 추정하고, Partition SHAP을 통해 전두엽 중심의 중요 전극을 해석한다. 그룹 평균 공간 풀링과 다양한 시간 풀링 전략을 비교한 결과, LaBraM 모델이 가장 높은 Pearson 상관계수를 기록했으며, 다양한 채널 구성을 가진 데이터에서도 견고한 성능을 보였다.

상세 분석

이 연구는 기존 EEG 기반 인지 부하 추정이 겪는 피험자 간 변이성과 작업 특이적 전처리 문제를 해결하고자, 최근 등장한 Brain Foundation Models(BFMs)를 적용하였다. 두 종류의 BFM인 LaBraM과 CBraMod은 각각 12개의 트랜스포머 레이어와 자체적인 위치 임베딩을 갖추고 있어, 1초 단위의 시공간 정보를 고해상도로 인코딩한다. 논문에서는 90초 길이의 EEG 세그먼트를 16초 윈도우(50% 겹침)로 나누어 입력으로 사용하고, 각 윈도우에 대해 전극별 200차원의 특징 벡터를 추출하였다.

특징 차원을 고정하기 위해 두 가지 공간 풀링 방식을 도입하였다. 첫 번째는 해부학적 영역(9개)별 전극 평균을 구하는 ‘그룹 평균’ 방식으로, 이는 뇌 기능적 해석과 직접 연결된다. 두 번째는 각 영역에서 하나의 전극만 선택하는 ‘인터섹션’ 방식으로 차원 감소는 크지만 정보 손실 위험이 있다. 시간 풀링은 ‘전역 풀링’, ‘평균 풀링’, ‘평균‑표준편차 풀링(MeanStd)’ 세 가지를 시험했으며, 평균과 MeanStd가 차원 감소와 변동성 포착에 유리함을 확인했다.

다운스트림 회귀 모델로는 L1 정규화된 선형 레이어, 두 층의 DNN, 그리고 RBF 커널을 갖는 SVM을 사용하였다. 성능 평가는 Pearson 상관계수와 MSE를 기반으로 하였으며, 교차 피험자 검증을 위해 가장 안정적인 Cohort E(5명)를 테스트·검증 셋으로 활용하였다.

실험 결과, LaBraM‑그룹 평균‑전역 풀링 조합이 0.281의 상관계수로 가장 우수했으며, 기존 PSD 기반 모델(0.120)이나 EEGNet(0.143) 등보다 현저히 높은 성능을 보였다. 시간 풀링 방식 간 차이는 미미했지만, 공간 풀링에서는 그룹 평균이 일관적으로 인터섹션보다 우수했다. 또한, 다양한 채널 수(26, 28, 32)와 하드웨어 변이를 포함한 전체 데이터(25명)로 학습했을 때도 LaBraM은 견고한 성능을 유지했으며, 학습 데이터 규모가 증가할수록 상관계수가 점진적으로 상승하는 추세를 보였다.

해석 가능성 검증을 위해 Partition SHAP을 적용했으며, 전극별 SHAP 값이 전두엽(특히 dorsolateral prefrontal cortex)에서 높은 중요도를 나타냈다. 이는 인지 부하와 작업 기억, 실행 기능과 연관된 신경학적 이론과 일치한다. 일일별 SHAP 지도는 학습이 진행될수록 전두엽 강조가 강화되고, 다른 영역의 기여는 감소하는 패턴을 보여, 모델이 실제 뇌의 학습 진행을 반영한다는 점을 시사한다.

한계점으로는 실시간 추론을 위한 하드웨어 요구사항이 아직 명시되지 않았으며, SHAP 해석이 전극 수준에서만 이루어져 소스 레벨(예: 뇌파 파워 스펙트럼) 해석은 부족하다. 또한, 라벨링이 VR 파일럿 훈련 시스템의 복합 점수에 의존하므로, 다른 도메인(예: 교육, 작업 현장)으로의 일반화 검증이 필요하다.

종합하면, 대규모 사전학습 BFM을 EEG에 적용하고, 해부학적 기반의 공간 풀링과 SHAP 기반 해석을 결합함으로써, 인지 부하를 정확히 추정하고 신경학적 근거를 제공하는 실용적인 프레임워크를 제시하였다. 이는 차세대 적응형 BCI 시스템에 중요한 기반 기술이 될 것으로 기대된다.