작업조건 기반 잠재공간 정렬로 구현하는 교차세션 신경 디코딩

초록

본 논문은 세션 간 비정상성을 극복하기 위해, 충분한 데이터가 있는 소스 세션에서 학습한 저차원 잠재공간을 활용하고, 제한된 데이터만을 가진 타깃 세션의 잠재표현을 작업 조건(운동 방향)별로 정렬하는 Task‑Conditioned Latent Alignment(TCLA) 프레임워크를 제안한다. 자동인코더 기반 구조에 다중 커널 MMD 손실을 결합해 조건부 잠재분포를 일치시킴으로써, 소스‑타깃 간의 신경 역학을 공유하고, 이후 LSTM 디코더를 이용한 행동 예측에서 기존 AutoLF‑ADS와 LDNS‑within‑session 대비 R² 향상을 달성한다.

상세 분석

TCLA는 크게 두 단계로 구성된다. 첫 번째 단계에서는 LDNS에서 제안한 확산 기반 자동인코더 구조를 그대로 차용하되, 세션별 1×1 컨볼루션(read‑in, read‑out) 레이어를 추가해 서로 다른 채널 수를 가진 여러 세션을 동일한 고정 차원의 임베딩으로 매핑한다. 이때 소스 세션의 스파이크 카운트를 입력으로 하여, 포아송 음의 로그우도와 L2 정규화, 시간적 스무딩 손실을 동시에 최소화함으로써 q‑차원 잠재 궤적 zₛ를 학습한다. 중요한 점은 잠재공간이 실제 신경 역학을 보존하도록 설계되었으며, 좌표축이 고정돼 있어 이후 타깃 세션과 직접 비교가 가능하다는 것이다.

두 번째 단계인 타깃 세션 정렬에서는 소스 세션에서 학습된 공유 자동인코더 파라미터를 고정하고, 타깃 전용 read‑in/read‑out 레이어만을 학습한다. 여기서 핵심은 작업 조건별(예: 8방향 움직임) 잠재분포를 다중 커널 최대 평균 차이(MMD) 손실을 통해 정렬하는 것이다. 각 조건 d에 대해 소스와 타깃의 잠재표본 집합 z(d)ₛ, z(d)ₜ를 정의하고, Gaussian 커널을 여러 대역폭 σⱼ으로 구성한 합성 커널 k(·,·)를 사용해 MMD를 계산한다. 다중 커널 접근은 단일 밴드폭보다 다양한 스케일의 차이를 포착해, 미세한 비정상성부터 큰 변동까지 모두 최소화한다. 정렬 손실 L_MMD에 재구성 손실을 가중치 β₃(1~10)로 결합해 전체 목표 L₂를 정의함으로써, 타깃 세션의 스파이크 재구성 정확도와 잠재공간 일치도를 동시에 최적화한다.

실험은 두 마카크 원숭이의 팔 운동(MOTORCO1, MOTORCO2)과 안구 운동(OCULOCO) 데이터셋을 사용했다. 각 데이터셋은 8방향(팔) 혹은 4방향(안구) 중심‑외부 과제로 구성되며, 세션당 200~2000개의 트라이얼이 존재한다. 소스 세션은 80%/10%/10% 비율로 학습·검증·테스트를 나누고, 타깃 세션은 10%/10%/80% 비율로 제한된 학습 데이터를 제공한다. 정렬된 잠재공간을 입력으로 LSTM 디코더를 학습시켜 위치와 속도를 예측했으며, 성능 평가는 R²(결정계수)와 부트스트랩 95% 신뢰구간으로 보고했다.

t‑SNE 시각화 결과, 기존 LDNS‑within‑session(LDNSws)에서는 소스와 타깃 잠재궤적이 서로 다른 클러스터를 형성해 세션 간 불일치가 뚜렷했지만, TCLA는 모든 타깃 세션을 소스와 동일한 클러스터에 매핑해 잠재공간이 효과적으로 정렬됨을 확인했다. 디코딩 성능에서도 TCLA는 AutoLF‑ADS와 LDNSws에 비해 평균 R² 향상이 0.030.38에 달했으며, 특히 베이스라인 성능이 낮은 x좌표(팔)와 y좌표(안구)에서 유의미한 개선을 보였다(p<10⁻⁴10⁻⁵, Wilcoxon signed‑rank test).

이러한 결과는 (1) 작업 조건을 명시적으로 고려한 잠재공간 정렬이 세션 간 비정상성을 크게 감소시킨다, (2) 공유 자동인코더와 세션‑특이 레이어 구조가 다양한 채널 수를 가진 데이터에 유연하게 적용 가능하다, (3) 제한된 타깃 데이터만으로도 소스 세션에서 학습된 고품질 잠재표현을 재활용함으로써 디코더 성능을 크게 향상시킬 수 있음을 시사한다. 향후 연구에서는 실시간 적응, 비정형 작업 조건, 그리고 비선형 커널을 활용한 정렬 손실 확장 등을 통해 BCI 시스템의 실용성을 더욱 높일 수 있을 것으로 기대된다.