강화학습 기반 힙 무릎 외골격 스쿼트 피로 감소

초록

이 연구는 강화학습으로 훈련된 신경망 컨트롤러를 이용해 힙·무릎 모듈형 외골격을 제어하고, 5명의 건강한 성인을 대상으로 3분간 메트로놈에 맞춰 스쿼트를 수행하게 하여 대사량과 심박수를 측정하였다. 활성 보조가 적용된 경우 평균 대사율이 약 10 % 감소했지만, 보조 시 무릎·힙 굴곡 각도가 감소하는 등 동작 범위가 제한되는 현상이 관찰되었다.

상세 분석

본 논문은 인간‑외골격 상호작용을 물리 기반 시뮬레이션에서 강화학습(RL)으로 최적화한 신경망(Exoskeleton Control Network, ECN)을 실제 하드웨어에 적용한 최초 사례 중 하나로 평가할 수 있다. ECN은 관절 각도와 각속도의 짧은 히스토리를 100 Hz로 입력받아 정규화된 토크 명령을 출력하며, 출력값은 10 Nm의 최대 토크로 스케일링된다. 네트워크 구조는 3개의 완전 연결 은닉층(각 64노드)과 ReLU 활성화, 최종 Tanh 출력으로 구성돼 연속적인 토크 신호를 생성한다. 학습 단계에서는 인간 제어 정책 네트워크(CPN)와 근육 협조 네트워크(MCN)를 결합해 목표 스쿼트 궤적을 보상하도록 설계했으며, 대칭성 손실과 토크 정규화 항을 포함해 실제 착용 시 불편함을 최소화하도록 제약하였다.

시뮬레이션‑실험 전이(sim‑to‑real transfer)를 위해 인간‑외골격 인터페이스를 ‘이상적인 토크 전달’로 단순화했으며, 이는 관절 센서(IMU)만으로도 충분히 정확한 상태 추정이 가능함을 전제한다. 이러한 설계 선택은 시뮬레이션 복잡도를 크게 낮추어 학습 시간을 단축하고, 다양한 외골격 플랫폼에 재사용성을 제공한다는 장점이 있다.

실험에서는 5명의 피험자를 무작위 순서로 3가지 조건(No‑Exo, Zero‑Torque, Assistance)에서 3분간 스쿼트를 수행하게 하였고, 대사량은 COSMED K5를 이용해 산소소비·이산화탄소 발생량을 Brockway 식으로 변환하였다. 결과는 Assistance 조건에서 평균 순대사율(NMR)이 Zero‑Torque 대비 8.8 %~21.4 % 감소했으며, 전체 평균은 9.98 % 감소했다는 점을 보여준다. 그러나 관절 각도 분석에서 보조 시 최대 무릎 굴곡이 120°→100°, 힙 굴곡이 95°→75°로 감소했으며, 이는 외골격 구조 자체가 제공하는 기계적 제약과 토크 적용 시 발생하는 동작 저항 때문으로 해석된다.

또한, 피험자별 토크 명령 파형을 살펴보면 관절 각도 보정 오차(예: 피험자 3의 힙 각도 30° 오프셋)와 각속도 노이즈가 토크 신호에 직접 반영되는 현상이 관찰되었다. 이는 현재 센서 노이즈와 보정 절차가 토크 정확도에 미치는 영향을 시사한다.

결론적으로, 강화학습 기반 적응형 컨트롤러는 개인별 스쿼트 패턴에 맞춰 토크 프로파일을 자동 생성함으로써 대사적 비용을 감소시킬 수 있음을 입증했지만, 동작 범위 제한과 센서 노이즈 전파 문제는 향후 하드웨어 경량화, 고정밀 IMU 보정, 그리고 토크 제한 전략의 재설계가 필요함을 강조한다.