전기 구동 사족보행 로봇을 위한 열 인식 보행 정책 학습

초록

본 논문은 전기 구동 사족보행 로봇의 모터 과열 문제를 해결하기 위해, 모터 온도를 상태 입력에 포함하고 열 제약 보상을 설계한 강화학습 기반 보행 정책을 제안한다. 시뮬레이션과 실제 Unitree A1 로봇 실험에서 3 kg 페이로드 하에 기존 정책은 7분 내에 과열 보호가 작동하지만, 제안된 정책은 27분 이상 연속 운용이 가능함을 보여준다.

상세 분석

이 연구는 사족보행 로봇의 지속 가능한 운용을 저해하는 모터 과열 현상을 제어‑레벨에서 사전 예방하는 새로운 접근법을 제시한다. 먼저, 개별 모터를 1차 열 모델로 묘사하고, 로봇 전체에 존재하는 열 결합을 고려한 14차원 전신 열 모델을 구축하였다. 이 모델은 각 모터와 온보드 컴퓨터, 주변 환경을 열 노드로 정의하고, 열 저항 행렬 A(h)와 입력 행렬 B(h)를 통해 이산 시간 상태‑공간 형태로 구현한다. 온도는 전류(또는 토크)의 제곱에 비례하는 Joule 열을 입력으로 사용하며, 토크 RMS 값을 열 입력으로 변환해 실시간 온도 업데이트를 가능하게 한다.

강화학습 프레임워크는 기존의 PPO 기반 보행 정책에 온도 정보를 추가한 POMDP 형태로 설계되었다. 관측 oₜ는 명령 속도, 각속도, 중력, 관절 위치·속도·온도, 이전 액션을 포함하고, 액터는 추가로 추정 속도와 인코더가 생성한 잠재 특징 lₛₜ를 활용한다. 비대칭 Actor‑Critic 구조를 채택해 크리틱은 시뮬레이션에서만 접근 가능한 선형 속도와 외력 등 특권 관측을 받아 가치 추정의 정확성을 높인다.

핵심은 온도 제약을 보상에 직접 반영한 것이다. 온도 제한 T_max을 만족하도록 제어 장벽 함수(CBF) − Ṫ + γ_T(T_max − T) ≥ 0을 도입하고, 이를 클리핑된 온도 T_clip 에 적용해 초기 온도에 대한 편향을 완화하였다. 보상 항은 ‑‖min(−Ṫ + γ_T(T_max − T_clip), 0)‖₁ 형태로, 온도가 임계값에 접근할수록 큰 페널티가 부여된다. γ_T는 열 모델 파라미터와 A(h) 행렬을 이용해 안정성을 보장하도록 계산된다.

시뮬레이션 단계에서는 도메인 랜덤화가 광범위하게 적용되었다. 페이로드 질량(0–4 kg), 무게 중심 변위, 외력, 지면 마찰계수, 초기 온도 등 12가지 파라미터를 무작위화해 현실 세계의 다양한 열 부하 상황을 재현하였다. 또한 초기 온도를