강화학습 기반 폐쇄형 EEG TMS 실시간 제어 시스템 구현

초록

본 연구는 25명의 건강한 피험자를 대상으로, 실시간 EEG 기반 센서모터 μ‑리듬 위상 선택을 강화학습(Deep‑Q‑Learning)으로 최적화하여 고·저 피질척수 흥분 상태를 구분하고, 이를 이용한 폐쇄형 TMS 자극이 장기적인 기능적 연결성 변화를 유도함을 최초로 입증하였다.

상세 분석

이 논문은 기존의 사전 정의된 위상에 의존하던 EEG‑TMS 방식을 탈피하여, 강화학습 에이전트가 실시간으로 μ‑리듬 위상을 탐색·학습하도록 설계하였다. 참가자는 400회의 학습 트라이얼 동안 8개의 위상 구간 중 하나를 선택받아 TMS가 적용되었으며, 각 트라이얼에서 얻어진 쌍‑펄스 MEP(ppMEP) 크기가 보상 함수에 직접 반영되었다. 보상은 ‘증가’ 조건에서는 Baseline 대비 1.5배 초과, ‘감소’ 조건에서는 0.7배 이하가 되도록 설계돼, 에이전트는 목표 위상을 점진적으로 선호하게 된다. 학습은 10 에폭(각 40 스텝)으로 구성돼 충분한 탐색‑활용 균형을 유지하였다.

EEG는 64채널 고밀도 시스템으로 5 kHz 샘플링 후 1 kHz로 다운샘플링, 1‑99 Hz 대역통과와 50 Hz 노치 필터를 적용했으며, ICA를 통해 눈깜빡임·심장 잡음을 제거하였다. μ‑리듬 SNR이 4 dB 미만인 세션은 제외해 데이터 품질을 확보하였다. 전극 위치는 개인 MRI 기반 뉴런비전 시스템으로 정확히 지정했으며, 소스 재구성에는 대칭 경계요소법과 파티셜 캐노니컬 상관법을 활용하였다. 기능적 연결성은 허수부 코히런스(imaginary coherence)를 사용해 체적 전도에 의한 가짜 연결을 최소화하였다.

통계 분석은 로그 변환된 MEP 데이터를 대상으로 선형 혼합효과 모델(LMM)과 베이지안 혼합효과 모델을 병행 적용했다. 시간(Baseline, Post, Post30)·조건(증가, 감소)·상호작용을 고정 효과로 두고, 피험자를 랜덤 인터셉트로 설정해 개인 차이를 통제하였다. Wald z‑검정과 95 % 신뢰구간, 베이지안 HDI를 통해 효과의 유의성을 판단하였다.

결과적으로, 에이전트는 각 피험자마다 최적 위상을 성공적으로 학습했으며, ‘증가’ 조건에서는 학습 후 ppMEP가 평균 38 % 상승, ‘감소’ 조건에서는 29 % 감소하였다. 이러한 급성 변화는 30분 후에도 유지되었으며, 장기적으로는 자극된 SMA‑M1 네트워크의 허수부 코히런스가 각각 +0.12와 –0.09 정도 변했다. 반면 무작위 위상 자극에서는 변화가 미미했다. 이는 μ‑리듬 위상에 기반한 폐쇄형 TMS가 피질척수 흥분성을 조절하고, 네트워크 수준의 가소성을 유도할 수 있음을 시사한다.

이 연구는 실시간 뇌 상태를 피드백으로 활용하는 강화학습 기반 폐쇄형 신경조절 시스템의 가능성을 입증했으며, 향후 개인 맞춤형 신경재활 및 정신질환 치료에 적용될 수 있는 기반을 제공한다. 다만, 샘플 규모가 제한적이고, 장기 효과와 임상 적용을 위한 추가 검증이 필요하다.