뇌기능 영역 주목 전이학습 기반 EEG 분류 혁신

본 논문은 뇌‑컴퓨터 인터페이스(BCI) 분야에서 EEG 신호 분류 정확도를 향상시키기 위해 두 가지 핵심 아이디어를 제안한다. 첫 번째는 EEG 신호를 시각적 형태인 “EEG Optical Flow”로 변환함으로써 이미지 기반 딥러닝 모델이 활용될 수 있는 새로운 표현을 만든 것이다. 기존 EEG는 1차원 시계열 데이터이거나 스펙트럼 형태로 처리되지만, optical flow는 시간‑공간 흐름을 2차원 벡터 필드로 나타내어 CNN이 효과적으로 특징을 추출하도록 돕는다. 저자들은 64채널, 512 Hz의 원시 데이터를 32×32 해상도의 영상으로 변환하고, 프레임 간 차이를 optical flow로 계산해 12프레임 시퀀스로 만든다. 두 번째 아이디어는 전이학습과 어텐션 메커니즘을 결합한 교차 도메인 인코더‑디코더 구조이다. 인코더는 ImageNet에서 사전학습된 VGG16 혹은 VGG19 네트워크를 사용해 EEG Optical Flow에서 저수준 특징을 추출한다. 그러나 이미지와 EEG Optical Flow는 도메인 차이가 크기 때문에, 단순히 사전학습 가중치를 복사하는 것만으로는 충분하지 않다. 이를 보완하기 위해 적대적 네트워크를 도입한다. 적대적 네트워크는 인코더가 추출한 특징이 이미지에서 온 것인지 EEG에서 온 것인지를 구분하도록 훈련되며, 인코더는 이 구분을 어렵게 만들도록 학습한다. 손실 함수는 분류 손실, 적대적 손실, 그리고 Manifold Regularization을 포함해 총합으로 최적화된다. Manifold Regularization은 특징 공간의 기하학적 구조를 보존해 과도한 변형을 방지한다. 인코더가 추출한 특징 맵은 위치‑와이즈 어텐션 기반 디코더에 전달된다. 기존 인코더‑디코더에서는 인코더의 마지막 완전 연결층 출력을 디코더에 넣어 공간 정보를 손실한다. 저자들은 대신 컨볼루션 층에서 얻은 저수준 특징 맵을 그대로 사용해 각 채널을 EEG Optical Flow의 특정 공간 영역(즉, 뇌의 기능적 영역)과 연결한다. 이후 RNN(LSTM/GRU) 구조에 시간‑프레임별로 입력하고, 어텐션 가중치를 계산한다. 어텐션 가중치는 MLP 기반 스코어 함수를 통해 얻은 e_ti를 softmax로 정규화한 α_ti이며, 이를 이용해 컨텍스트 벡터 ẑ_t를 구한다. 두 가지 어텐션 방식이 실험되었는데, Soft Attention은 모든 영역을 가중합해 연속적인 미분이 가능하고, Hard Attention은 확률적 샘플링으로 하나의 영역에만 집중한다. 실험 결과 Soft Attention이 더 높은 분류 정확도를 보였으며, 이는 뇌 활동이 다중 영역의 협업으로 이루어진다는 신경과학적 근거와 일치한다. 성능 검증은 OpenMIIR 데이터셋을 사용했다. 이 데이터는 10명의 피험자가 12개의 짧은 음악 조각을 듣고 상상하는 동안 기록된 64채널 EEG이며, 각 피험자당 240개의 트라이얼이 존재한다. 저자들은 데이터를 무작위로 10%를 테스트 셋으로 분리했으며, 비교 대상으로는 기존 DNN, CNN, 그리고 전이학습만 적용한 모델(