기하학 인식 딥 컨그루언스 네트워크를 활용한 교차 피험자 운동 상상 학습

초록

본 논문은 EEG 기반 운동 상상( MI) BCI에서 피험자 간 변동성을 줄이기 위해 공분산 행렬을 SPD(대칭 양정) 다양체 위에서 직접 정렬·변환하는 세 가지 기하학‑인식 모델(DCT, DLDCT, DDCT‑UNet)을 제안한다. 기존의 Riemannian Alignment(RA)와 달리 분산 스케일링과 방향 정렬을 동시에 학습하고, Fisher 판별 손실을 통해 클래스 간 구분을 강화한다. 제안 모델을 전처리(pre‑aligner)와 엔드‑투‑엔드(E2E) 학습 두 형태로 적용했을 때, 교차 피험자 LOSO 실험에서 기존 RA 기반 파이프라인 대비 2~3% 정확도 향상을 달성하였다.

상세 분석

본 연구는 EEG‑MI 데이터의 공분산 행렬을 SPD 다양체 위에 존재하는 타원체로 해석하고, 이 타원체의 고유값(분산)과 고유벡터(방향)가 피험자마다 크게 달라지는 점에 주목한다. 기존 Riemannian Alignment(RA)는 각 피험자의 공분산 평균을 정규화해 평균 위치를 동일하게 만들지만, 고유벡터 회전이나 고유값 스케일링을 고려하지 않아 클래스 간 구분이 충분히 확보되지 않는다. 이를 보완하기 위해 저자들은 두 단계의 기하학‑인식 변환을 설계한다.

첫 번째 단계인 Discriminative Congruence Transform(DCT)은 RA 이후 로그 맵을 통해 아이덴티티(Identity)에서의 접공간(tangent space)으로 이동한 뒤, 전역 스칼라 γ를 곱해 분산을 조정한다(Dispersion Scaling). 이어서 스키워-대칭 행렬 A를 이용해 R = exp(A − Aᵀ) 형태의 직교 회전 행렬을 학습하고, L_O = Rᵀ · γ · L′ · R 로 방향을 정렬한다. 이때 회전은 고유값을 변형하지 않으며, γ는 1에 가깝게 정규화한다.

두 번째 단계는 Fisher 판별 손실을 적용해 클래스 내·외 변동을 명시적으로 최소·최대화한다. 구체적으로, 클래스별 평균 텐서와 전체 평균 사이의 Frobenius 거리 차이를 이용해 B_A와 W_A를 정의하고, L_Fisher = δ·W_A/B_A + ε 로 손실을 구성한다. 또한, 회전 후 평균 행렬의 오프‑다이아고날 에너지를 최소화하는 Centering Penalty와 γ, R을 각각 1·I에 가깝게 유지하도록 하는 정규화 항을 추가한다.

DCT는 단일 회전·스케일 변환만으로도 충분히 성능을 끌어올리지만, 복잡한 비선형 변형을 포착하기엔 한계가 있다. 이를 해결하기 위해 Deep Linear DCT(DLDCT)와 Deep DCT‑UNet(DDCT‑UNet)을 제안한다. DLDCT는 SPD 다양체 위에서 연속적인 선형 컨그루언스 변환 Φ_ℓ(C) = W_ℓᵀ C W_ℓ (εI 보강) 을 여러 층에 걸쳐 쌓아, 차원 축소·확장을 자유롭게 수행한다. 각 층의 가중치 W_ℓ은 전역 공분산 평균의 고유벡터를 복제·스케일링해 초기화함으로써 수렴성을 높인다.

DDCT‑UNet은 U‑Net 구조를 차용해 인코더‑디코더 경로에 다중 스케일 컨그루언스 레이어를 배치하고, 스킵 연결을 통해 저·고주파 정보를 결합한다. 또한, 층별 출력이 지나치게 피험자 고유 특성을 학습하지 않도록 variance regularization을 적용한다.

학습은 모든 모델에 대해 동일한 Fisher 기반 목표와 정규화 항을 사용하고, 최종 로지스틱 회귀 헤드(TSLR)와 함께 교차 엔트로피를 역전파한다. 전처리(pre‑aligner) 모드에서는 DCT/DLDCT/DDCT‑UNet이 변환된 공분산을 기존 MDM, TSLR, TSA‑LDA에 전달하고, E2E 모드에서는 변환 파라미터가 로지스틱 회귀 손실에 직접 연결돼 공동 최적화된다.

실험은 BCI‑IV‑2a와 PhysioNet MI 데이터셋을 LOSO(transductive) 설정으로 수행했으며, 모든 베이스라인(RA+MDM 등) 대비 2~3% 절대 정확도 향상을 기록했다. 특히, DLDCT와 DDCT‑UNet은 깊은 비선형 변환을 통해 클래스 간 거리(Between‑class scatter)를 크게 늘리면서 Within‑class scatter를 억제, 판별력을 강화한다는 점이 확인되었다.

이 논문은 SPD 다양체 위에서의 기하학‑인식 변환을 체계적으로 설계·학습함으로써, 라벨이 없는 타깃 피험자에 대한 전이 학습 성능을 실질적으로 개선한다는 중요한 교훈을 제공한다.