언어 이미지 사전 지식을 활용한 EEG 디코딩 교차 작업 무보정 RSVP‑BCI

초록

**
본 연구는 세 가지 RSVP 과제와 71명의 피험자를 대상으로 만든 공개 데이터셋을 기반으로, CLIP 기반 프롬프트 인코더와 양방향 교차 주의 메커니즘을 결합한 ELIPformer 모델을 제안한다. 이 모델은 언어‑이미지 사전 지식을 EEG와 융합해 교차 작업 무보정 상황에서도 기존 방법보다 뛰어난 목표 이미지 식별 성능을 달성한다.

**

상세 분석

**
본 논문은 RSVP‑BCI 시스템이 새로운 과제에 적용될 때 발생하는 ‘교차 작업 무보정’ 문제를 핵심 과제로 설정한다. 기존의 주제‑종속 혹은 단일 과제 무보정 방법은 EEG 신호와 과제 간의 뇌 반응 차이 때문에 성능이 급격히 저하된다. 이를 해결하기 위해 저자들은 두 가지 혁신적 접근을 제시한다. 첫째, 언어‑이미지 사전 학습 모델인 CLIP을 활용해 과제‑특정 프롬프트(예: “plane”, “car”, “people”)와 실제 자극 이미지에서 의미‑시각 특징을 추출한다. 이 특징은 ‘프롬프트 인코더’에 의해 고차원 임베딩으로 변환되어, EEG 신호와 동일한 차원으로 매핑된다. 둘째, EEG와 언어‑이미지 임베딩 사이에 ‘양방향 교차 주의(bi‑attention)’ 모듈을 삽입해 상호 보완적인 정보를 동적으로 교환한다. 이 과정은 두 모달리티 간의 정렬을 촉진하고, EEG가 포착하지 못하는 고차원 의미 정보를 보강한다. 모델의 핵심은 Transformer 기반의 EEG 인코더와 CLIP 기반 이미지‑텍스트 인코더를 메트릭 러닝 방식으로 사전 학습한 뒤, 교차 주의 레이어를 통해 공동 표현을 학습하는 구조이다. 실험에서는 세 가지 과제(plane, car, people) 각각에 대해 2031명의 피험자를 모집하고, 훈련 과제와 전혀 다른 테스트 과제로 전환했을 때 ELIPformer가 평균 812%p 이상의 정확도 향상을 보였다. 특히, 기존 Zero‑Calibration 방법인 TFF‑Former와 EEGConformer 대비 각각 10%p, 9%p 정도의 상대적 개선을 기록하였다. 이는 언어‑이미지 사전 지식이 EEG 기반 P300 검출에 유의미한 보조 정보를 제공한다는 강력한 증거이다. 또한, 모델이 사전 학습된 CLIP의 제로샷 능력을 그대로 활용함으로써 새로운 이미지 집합에 대해 별도의 라벨링 없이도 효과적인 특징 추출이 가능함을 입증한다. 한계점으로는 CLIP 모델 자체가 대규모 이미지‑텍스트 데이터에 의존하므로, 특수 도메인(예: 의료 영상)에서는 사전 학습된 모델의 일반화가 떨어질 수 있다는 점을 언급한다. 향후 연구에서는 도메인‑특화 언어‑이미지 사전 학습 모델을 도입하거나, EEG와 시각 정보의 시간적 동기화를 보다 정밀하게 모델링하는 방안을 제시한다. 전반적으로 본 논문은 BCI 분야에 멀티모달 사전 지식을 도입함으로써 교차 작업 무보정 문제를 실질적으로 완화시킨 최초의 사례이며, 향후 실시간 응용 및 다양한 인지 과제에 확장될 가능성을 열어준다.

**