다중분류 RSVP‑BCI를 위한 EEG·안구운동 융합 네트워크

초록

**
본 연구는 다중 목표 클래스를 구분해야 하는 RSVP‑BCI에 눈 움직임(EM) 데이터를 결합한 새로운 데이터셋을 구축하고, EEG와 EM을 효과적으로 융합하는 MTREE‑Net 모델을 제안한다. 이 모델은 이중 보완 모듈로 각 모달리티의 특징을 강화하고, 이론적으로 도출된 기여 비율에 기반한 동적 가중치 재조정 및 계층적 자기 증류 구조를 통해 비대상 샘플의 오분류를 감소시킨다. 실험 결과, 기존 단일모달 및 기존 융합 방법들을 크게 능가하는 정확도와 F1‑score를 달성하였다.

**

상세 분석

**
본 논문은 RSVP 기반 BCI에서 다중 클래스 목표를 동시에 인식해야 하는 실용적 요구를 충족시키기 위해 두 가지 주요 공헌을 제시한다. 첫째, 43명의 피험자를 대상으로 EEG와 안구운동(EM) 데이터를 동시에 수집한 공개 데이터셋을 구축하였다. 기존 연구는 대부분 EEG 단일 모달리티에 의존했으며, EM을 포함한 다중 클래스 데이터는 없었다는 점에서 이 데이터셋은 연구 커뮤니티에 큰 가치를 제공한다. 데이터는 세 가지 독립적인 과제(A, B, C)로 구성되었으며, 각각 항공기·비항공기, 저장탱크·센터, 항구·주차장이라는 시각적으로 유사하지만 의미적으로 구분되는 두 목표 클래스를 포함한다. 이러한 설계는 실제 원격 탐사 및 감시 상황을 모사함으로써 모델의 일반화 가능성을 높인다.

둘째, 제안된 MTREE‑Net은 EEG와 EM의 특성을 동시에 활용하는 다중 모달 융합 아키텍처이다. EEG 흐름에서는 다중 스케일 컨볼루션을 적용해 다양한 시간 창에서의 국소·전역 패턴을 추출하고, EM 흐름에서는 단일 레이어 컨볼루션으로 눈동자 움직임과 동공 변화 같은 빠른 변화를 효율적으로 포착한다. 핵심인 이중 보완 모듈(dual‑complementary module)은 각 모달리티의 특징 맵을 상호 보완하도록 설계돼, 클래스 간 구분력을 크게 향상시킨다.

또한, 기존 융합 방법이 최종 손실만을 기준으로 가중치를 학습하는 한계를 극복하기 위해, 각 모달리티의 분류 기여도를 이론적으로 분석하고 기여 비율(contribution ratio)을 도출하였다. 이 비율을 동적 재가중치 모듈에 입력함으로써 학습 과정에서 실시간으로 모달리티 중요도가 조정된다. 결과적으로, EEG가 주로 P300 같은 ERP 신호를 제공하고, EM이 시각 탐색 과정에서의 미세 움직임을 보완함을 고려한 최적의 가중치 배분이 가능해졌다.

마지막으로, 다중 클래스 RSVP 데이터의 특성을 반영한 계층적 자기 증류(hierarchical self‑distillation) 구조를 도입했다. 이 구조는 먼저 이진 분류기(목표 vs 비목표)를 학습하고, 그 후 3‑class 분류기(목표‑1, 목표‑2, 비목표)를 학습한다. 두 분류기 사이에 지식 전달을 수행함으로써 비목표 샘플이 목표 클래스로 오분류되는 현상을 크게 감소시킨다.

실험에서는 기존의 EEG‑전용 모델(EEGNet, MS‑CNN, MDCNet 등)과 기존 EEG‑EM 융합 모델(CMGFNet, FGFRNet 등)과 비교했을 때, 정확도, AUC, F1‑score 모두 유의미하게 향상되었으며, 특히 비목표 오분류율이 30% 이상 감소하였다. 또한, 교차 검증 및 사용자 별 성능 분석을 통해 모델이 피험자 간 변동성을 충분히 견디는 안정성을 확인하였다.

이러한 결과는 (1) 다중 클래스 RSVP‑BCI에 EM 데이터를 효과적으로 활용할 수 있음을, (2) 기여 비율 기반 동적 가중치와 이중 보완 모듈이 다중 모달리티 융합 성능을 극대화한다는 점을 입증한다. 향후 연구에서는 실시간 구현, 더 다양한 목표 클래스 확장, 그리고 다른 센서(예: fNIRS)와의 융합을 통해 실제 현장 적용 가능성을 높일 수 있을 것으로 기대된다.

**