뇌파로 상상 말하기 해독과 컴퓨터 제어

본 논문은 뇌‑컴퓨터 인터페이스(BCI) 분야에서 상상 말하기(Imagined Speech, IS)를 이용한 컴퓨터 제어 가능성을 탐구한다. 연구는 크게 네 단계로 구성된다. 첫 번째 단계는 EEG 신호 전처리와 특징 추출이다. 피험자는 장단어(예: “apple” vs. “a”)와 같은 짧은·긴 단어를 상상하도록 지시받으며, 64채널 EEG가 1 s 구간마다 기록된다. 기록된 신호는 밴드패스 필터링과 아티팩트 제거 후, 각 구간별 공분산 행렬을 계산한다. 공분산 행렬은 리만 기하학에서 정의된 접공간(tangent space)으로 투영되어 고차원 대칭 양정 행렬을 유클리드 벡터 형태로 변환한다. 이 변환은 공분산 행렬이 갖는 비선형 구조를 보존하면서, 선형 차원 축소와 분류에 적합하도록 만든다. 두 번째 단계에서는 접공간 벡터에 주성분 분석(PCA)을 적용해 차원을 10~30 차원으로 축소한다. 차원 축소는 모델 복잡도를 낮추고, 과적합을 방지하며, 실시간 처리 속도를 높이는 역할을 한다. 세 번째 단계는 분류 모델 구축이다. 저자는 다층 퍼셉트론 형태의 인공신경망(ANN)을 기본 모델로 선택하고, 부트스트랩 집계(bagging) 기법을 통해 10개의 독립 ANN을 학습시킨다. 각 ANN은 무작위로 선택된 학습 샘플과 피처 서브셋을 사용해 훈련되며, 최종 예측은 10개 모델의 평균값으로 결정된다. 이 앙상블 구조는 단일 ANN이 가질 수 있는 편향을 감소시키고, 예측 안정성을 크게 향상시킨다. 실험 결과, 제안된 파이프라인은 기존 연구에서 사용된 CSP‑LDA, SVM, CNN, RNN 등과 비교해 평균 9~11% 높은 정확도를 보였다. 구체적으로, 장단어 이진 분류에서 평균 85%의 정확도, IS와 휴식 상태 구분에서 94%의 정확도를 달성했으며, 세 개의 짧은 단어와 세 개의 모음(모음) 구분에서도 기존 최첨단(SOTA) 방법보다 각각 11%와 9% 높은 성능을 기록했다. 네 번째 단계는 실제 컴퓨터 제어 인터페이스 설계이다. 두 가지 유한 상태 기계(FSM)를 제안한다. 첫 번째 FSM은 화면을 사각형으로 분할하고, 사용자가 짧은 단어를 상상하면 해당 영역을 제거, 긴 단어를 상상하면 다른 영역을 제거하는 방식으로 화면을 점차 축소한다. 최종적으로 목표 폴더가 화면 전체를 차지하면 자동으로 더블 클릭을 수행한다. 두 번째 FSM은 키보드 입력을 매핑한다. 짧은 단어와 긴 단어를 각각 화살표·Enter·Backspace 동작에 연결해 파일 트리 탐색을 가능하게 한다. 두 설계 모두 1 s 입력·1 s 휴식의 교대로 진행되는 ‘부분 온라인(partial‑online)’ 프로토콜을 사용했으며, 전처리·특징 추출·분류는 밀리초 수준으로 수행되어 실시간 요구를 만족한다. 시스템 전체의 정보 전송률(ITR)은 21 bits/min에 달했으며, 이는 기존 IS‑BCI 연구에서 보고된 수준보다 현저히 높은 수치이다. 논문은 또한 IS 신호와 휴식 상태 신호를 구분함으로써 비‑IS 입력을 필터링하는 전처리 단계의 유용성을 강조한다. 하지만 몇 가지 한계점도 존재한다. 데이터는 실험실 환경에서 잡음이 적은 상태로 수집되었으며, 피험자가 사전 지시를 정확히 따르는 전제하에 진행되었다. 실제 환경에서는 전극 접촉 불량, 근육 전기 잡음, 외부 전자기 간섭 등이 발생할 수 있어 공분산 기반 특징이 크게 변질될 위험이 있다. 또한 현재 연구는 이진 분류에 초점을 맞추었으며, 다중 클래스(6~10개 단어) 인식 및 연속 입력 해석은 아직 구현되지 않았다. 향후 연구에서는 잡음 강인성을 높이기 위한 정규화·베이지안 필터링, 그리고 시계열 모델(RNN·Transformer)과 접공간 특징의 결합을 통해 다중 클래스 및 연속 제어 성능을 확장할 필요가 있다. 요약하면, 이 논문은 공분산 행렬·접공간 변환·PCA·ANN‑bagging이라는 일련의 머신러닝 파이프라인을 통해 상상 말하기 EEG를 효과적으로 해독하고, 두 가지 FSM 기반 인터페이스를 통해 실제 컴퓨터 제어를 구현함으로써 IS‑BCI의 실용성을 크게 진전시켰다.