부분 모션 모방 학습으로 네발 로봇의 카트 밀기 기술 향상

초록

네발 로봇이 카트를 안정적으로 밀면서 이동하는 로코-매니퓰레이션 기술은 여전히 어려운 과제입니다. 본 연구는 강건한 보행 정책에서 학습된 하반신 운동 패턴만을 모방하는 ‘부분 적대적 모션 프라이어’ 방법을 제안합니다. 이를 통해 로봇은 안정적인 보행 스타일을 유지하면서 팔은 자유롭게 카트 밀기 작업에 적응할 수 있게 되었으며, 다양한 경로를 따라 카트를 성공적으로 밀어내는 것을 시뮬레이션 환경에서 입증했습니다.

상세 분석

본 논문이 제안하는 ‘부분 모션 모방(Partial Motion Imitation)’ 학습 프레임워크의 기술적 핵심은 두 단계로 구성된 계층적 접근법에 있습니다. 첫 번째 단계에서는 도메인 및 지형 무작위화를 광범위하게 적용하여 다양한 조건에서도 강건한 기본 보행 정책을 학습합니다. 이 정책은 팔을 포함한 전체 몸동작을 생성하지만, 주된 목표는 하반신에서 발현되는 안정적인 보행 스타일을 확보하는 것입니다. 두 번째 단계에서는 이제 카트 밀기 작업을 학습하는데, 여기서 혁신적인 아이디어가 적용됩니다. 바로 첫 단계에서 학습된 정책의 ‘전체 상태’가 아닌, ‘하반신 상태(베이스 각속도, 다리 관절 각도 및 속도)‘만을 프로젝션하여 참조 데이터로 사용하는 ‘부분 적대적 모션 프라이어(Partial AMP)‘를 도입한 것입니다.

이 방법의 핵심 통찰은 다음과 같습니다. 전체 몸동작을 모방하면 카트 핸들을 잡고 밀어야 하는 매니퓰레이션 작업에 부적합한 상반신 동작까지 제약이 가해져 성능이 저하될 수 있습니다. 반면, 모방 학습을 전혀 사용하지 않으면 정책이 보행과 매니퓰레이션이라는 두 가지 복잡한 작업을 동시에 처음부터 발견해야 하므로 학습이 불안정해집니다. 부분 모션 모방은 이 딜레마를 해결합니다. 하반신 모션을 모방함으로써 안정적인 보행의 ‘스타일’을 유지한 채, 상반신(팔)은 작업 보상(카트 위치 추종 등)에 최적화된 동작을 자유롭게 학습할 수 있도록 합니다. 실험 결과, 이 방법은 모방을 전혀 사용하지 않은 베이스라인, 전체 몸동작 모방 베이스라인, 계층적 RL 방법보다 월등히 안정적이고 정확한 카트 밀기 성능을 보였습니다. 또한 IsaacLab에서 학습된 정책이 다른 물리 엔진(MuJoCo)으로의 시뮬-to-시뮬 전이에서도 효과를 입증하여 방법의 강건성을 부각시켰습니다.