에너지 제약 최적화 기반 강화학습으로 인간형 로봇 보행 효율 극대화

초록

ECO는 에너지 소비를 보상에서 분리해 명시적 부등식 제약으로 다루는 새로운 제약 강화학습 프레임워크이다. Lagrangian 방법으로 에너지와 자세 추적 제약을 동시에 만족시키며, 시뮬레이션·실제 로봇 실험에서 기존 MPC와 PPO 대비 에너지 사용량을 크게 감소시킨다.

상세 분석

본 논문은 인간형 로봇 보행의 에너지 효율성을 향상시키기 위해 ‘보상‑제약 분리’라는 핵심 아이디어를 제시한다. 기존 연구에서는 토크, 가속도, 접촉력 등을 보상 함수에 가중치 형태로 삽입했지만, 가중치 선택이 물리적 의미가 모호하고 하이퍼파라미터 탐색 비용이 크게 늘어나는 단점이 있었다. ECO는 에너지 소비를 제약(cost) 으로 정의하고, 목표 보상은 속도 추적·자세 안정성·참조 모션 재현 등에 집중한다. 이렇게 하면 에너지 한계값을 물리적으로 직관적인 수치(예: J·kg⁻¹·m⁻¹)로 직접 설정할 수 있어 튜닝 과정이 크게 단순화된다.

제약 구현은 CMDP(Constrained Markov Decision Process) 형태로 공식화되며, Lagrangian 승수 λ를 이용한 PPO‑Lagrangian(PPO‑Lag) 알고리즘이 핵심이다. 논문은 PPO‑Lag 외에도 CRPO, IPO, P3O 등 네 가지 최신 제약 RL 방법을 동일 조건에서 비교하였다. 실험 결과, PPO‑Lag이 수렴 속도와 제약 위반률 모두에서 가장 우수했으며, 특히 에너지 제약을 만족하면서도 보행 대칭성·발걸음 길이·몸통 흔들림을 최소화하는 정책을 학습했다.

시뮬레이션에서는 ‘flexed knees’, ‘light steps’, ‘reduced body shaking’이라는 정성적 지표와 함께 Cost of Transport (CoT) 를 정량화하였다. ECO는 MPC 대비 약 6배, 기존 PPO 대비 2.3배 낮은 CoT를 기록했으며, 제약 위반 비율은 0% 수준으로 안정성을 입증했다.

실제 로봇인 kid‑sized humanoid BRUCE에 적용한 sim‑to‑real 전이 실험에서도 동일한 에너지 절감 효과와 보행 안정성을 유지했다. 특히, 정책이 100 Hz 로 PD 제어기에 전달되는 목표 관절 위치를 생성하고, 1 kHz 토크 명령으로 실행되는 구조는 실시간 제어 요구사항을 만족한다.

한계점으로는 현재 에너지 제약을 정적 상수로 설정한다는 점이다. 로봇의 배터리 상태나 지형 변화에 따라 동적으로 제약을 조정하는 방법은 아직 다루지 않았다. 또한, 제약 수가 늘어나면 Lagrangian 승수 업데이트가 불안정해질 가능성이 있으며, 이는 고차원 제약 공간을 가진 복합 작업(예: 물체 운반·다중 로봇 협동)에서 추가 연구가 필요함을 시사한다.

전반적으로 ECO는 에너지 효율을 물리적으로 해석 가능한 제약으로 전환함으로써, 하이퍼파라미터 탐색 비용을 크게 낮추고, 실제 로봇에 바로 적용 가능한 정책을 제공한다는 점에서 인간형 로봇 보행 제어 분야에 중요한 전진을 이룬다.