엑소플로어: 인간 적합 시뮬레이션으로 엑소스켈레톤 제어 공간 탐색

초록

엑소플로어는 근-기계 시뮬레이션과 딥 강화학습을 결합해 힙 엑소스켈레톤의 토크 이득(κ)과 지연(Δt) 파라미터를 최적화한다. 시뮬레이션에서 생성된 보행 데이터를 실제 실험과 일치시키는 보상 설계와, 메타볼릭 에너지 모델 파라미터(α,β)를 조정해 인간의 보행 속도‑CoT 곡선을 재현한다. 학습된 서러게이트 네트워크를 이용해 비용‑전송(CoT) 지형을 매끄럽게 추정하고, 이를 기반으로 최적 파라미터를 탐색한다. 결과는 정상 보행과 병리 보행 모두에서 인간 실험과 일치하는 보조 토크·파워 스케일링, 대사량 감소율, 그리고 병리 정도와 최적 보조량 사이의 선형 관계를 보여준다.

상세 분석

본 논문은 힙 엑소스켈레톤 제어 파라미터(κ, Δt)를 최적화하기 위해 두 단계의 프레임워크를 제시한다. 첫 번째 단계인 Gait Data Generator는 PoseNet, PD 컨트롤러, Muscle Coordination Network(MCN)로 구성된 인간 제어 모듈을 딥 강화학습과 지도학습으로 공동 학습한다. 관측(state)은 골격·근육·엑소스켈레톤 상태를 모두 포함하고, 보상은 보행 정확도(r_gait), 팔 움직임 억제(r_arm), 에너지 최소화(r_energy), 그리고 인간‑엑소스켈레톤 상호작용(r_HEI) 네 요소의 가중합이다. 특히 r_energy은 MEE=∑m_i·α_i·a_i^{β_i} 형태의 메타볼릭 에너지 모델을 사용해 α,β를 조정함으로써 인간의 속도‑CoT 포물선과 선호 보행 속도(PWS)를 재현한다. r_HEI는 보조 토크에 대한 저항 최소화 가설을 수식화해 인간이 보조에 적응하면서 관절 각도를 변화시키는 현상을 모사한다. 두 번째 단계인 Exoskeleton Optimizer는 대량 시뮬레이션 데이터를 이용해 서러게이트 신경망을 학습, 연속적이고 미분 가능한 CoT 지형을 제공한다. 이 지형은 시뮬레이션 및 강화학습의 내재적 stochasticity에도 불구하고 안정적인 최적화가 가능하도록 한다. 실험 결과, 보조 토크·파워는 보조 수준과 보행 속도에 따라 선형적으로 증가하고, 메타볼릭 비용 감소율은 실제 인간 실험과 유사한 10~15% 수준을 보였다. 또한, 최적 지연 Δt는 보행 속도가 증가할수록 감소하는 경향을 보이며, 이는 빠른 보행에서 인간이 더 빠른 피드백을 선호한다는 기존 연구와 일치한다. 병리 보행에 대해서는 근육 약화 정도를 파라미터화한 시뮬레이션을 수행했으며, 네 가지 조건에서 병리 심각도와 최적 κ 사이에 강한 선형 상관관계(R²>0.85)를 발견했다. 이러한 결과는 시뮬레이션 기반 최적화가 실제 인간 대상 실험을 대체하거나 보완할 수 있음을 시사한다.