AI 기반 가정용 뇌졸중 재활 평가 시스템 STGCN 트랜스포머 주의력 결합

초록

본 논문은 RGB‑D 카메라와 착용형 센서를 활용해 가정에서 뇌졸중 환자의 상지 재활 동작을 실시간으로 기록하고, ST‑GCN 기반의 스켈레톤 그래프와 트랜스포머 기반 시간 주의력 모듈을 결합한 RAST‑G@ 모델로 전문가 점수를 예측하는 시스템을 제안한다. NRC 데이터셋(ADL 10종, ROM 5종, 총 15동작)과 공개 KIMORE 데이터셋을 이용해 평균 절대 오차(MAD), RMSE, MAPE 등에서 기존 방법보다 우수한 성능을 보였으며, 모바일 앱을 통해 피드백을 제공한다.

상세 분석

본 연구는 가정용 재활 지원을 위한 하드웨어·소프트웨어·AI 서버 3계층 구조를 설계하였다. 하드웨어는 Intel RealSense D435i RGB‑D 카메라와 Movella Xsens Dot IMU를 사용해 양손에 부착하고, 모바일 태블릿을 인터페이스로 삼아 실시간 스켈레톤 추출 및 데이터 전송을 수행한다. 데이터 수집은 비장애인(ND) 293명과 뇌졸중 환자 633명을 대상으로 진행되었으며, 총 1,142개의 시퀀스가 확보되었다. 스켈레톤은 25개의 관절 키포인트를 이용해 그래프 형태로 표현하고, 각 관절은 인체 해부학적 연결을 엣지로 정의한다.

모델 RAST‑G@는 두 주요 모듈로 구성된다. 첫 번째는 ST‑GCN 블록으로, 공간적 그래프 컨볼루션을 통해 관절 간 구조적 상관관계를 학습하고, 시간 차원에서는 2D 컨볼루션 커널을 적용해 프레임 간 동적 변화를 포착한다. 두 번째는 트랜스포머 기반 시간 주의력 모듈로, ST‑GCN 출력 시퀀스를 입력받아 각 타임스텝의 중요도를 가중치로 학습한다. 이를 통해 동작의 흐름 중 핵심 구간(예: 물체 잡기, 팔꿈치 굽힘 등)에 더 높은 주의력을 부여함으로써 점수 예측 정확도를 향상시킨다.

학습 목표는 회귀 함수 fθ: X→Y 로, 입력 X는 (배치, 채널, 시간, 관절, 인스턴스) 차원의 텐서이며, 출력 Y는 물리치료사가 부여한 0‑5 리커트 점수이다. 손실 함수는 평균 제곱 오차(MSE)를 기본으로 하며, 정규화와 드롭아웃을 통해 과적합을 방지한다. 모델은 30 epoch 동안 Adam 옵티마이저(learning rate 1e‑3)로 학습되었고, 교차 검증을 통해 하이퍼파라미터를 튜닝하였다.

평가에서는 기존 DTW, Mahalanobis 거리 기반 방법과 최근 GCN‑LSTM 기반 모델을 베이스라인으로 설정하였다. NRC 데이터셋에서 RAST‑G@는 MAD 0.42, RMSE 0.58, MAPE 7.3%를 기록했으며, KIMORE 데이터셋에서도 동일 지표에서 5‑10% 정도 개선되었다. 특히 시간 주의력 모듈을 제거한 경우 성능이 평균 4% 감소함을 통해 주의력의 기여도를 입증하였다.

시스템 구현 측면에서 모바일 앱은 동작 안내 영상과 실시간 피드백(점수, 오류 구간 시각화)을 제공한다. 서버는 데이터베이스에 원시 RGB‑D와 스켈레톤을 저장하고, 모델 추론을 수행한 뒤 결과를 클라우드 API로 전송한다. 보안은 HTTPS와 토큰 기반 인증으로 관리되며, 데이터는 익명화 후 연구 목적에만 활용한다.

한계점으로는 현재 스켈레톤 추출 정확도가 조명·배경 변화에 민감하고, IMU 데이터는 모델에 포함되지 않아 관절 각도 정밀도에 한계가 있다. 또한 점수 라벨이 0‑5의 제한된 스케일이므로 미세한 차이를 반영하기 어려우며, 임상 검증을 위한 장기 추적 연구가 필요하다. 향후 연구에서는 멀티모달 융합(LSTM‑GCN‑Transformer)과 개인 맞춤형 피드백 알고리즘을 도입해 정확도와 사용자 만족도를 동시에 높일 계획이다.