인간형 축구 로봇, 노이즈 속에서도 정확한 슈팅 기술을 학습하다

초록

본 연구는 인간형 축구 로봇이 시각적 입력이 불완전하고 노이즈가 많은 환경에서도 강력하고 정확한 공 차기 기술을 학습할 수 있는 강화학습 기반 시스템을 제안합니다. 지상 정보를 아는 ‘교사’ 정책을 먼저 학습시킨 후, 이를 불완전한 감각 정보만을 사용하는 ‘학생’ 정책으로 전이하는 4단계 학습 프레임워크를 통해, 실제 환경에서의 견고한 성능과 다양한 공-골 배치에 대한 적응력을 입증했습니다.

상세 분석

이 연구의 기술적 핵심은 ‘교사-학생(Teacher-Student)’ 학습 패러다임을 정교한 4단계 커리큘럼으로 확장한 데 있습니다. 첫 두 단계(장거리 추적, 방향성 킥)에서는 지상 정보(ground truth)를 가진 교사 정책이 강력한 기본 킥 동작과 불완전한 상태(예: 밀림, 킥 실패)에서의 회복 능력을 학습합니다. 여기서 공격적인 도메인 랜덤화(관절 특성, 외부 충격, 공 물성 변화 등)가 시뮬레이션과 현실 간 차이를 줄이는 데 결정적 역할을 합니다. 세 번째 단계(정책 증류)에서는 DAgger 알고리즘을 사용해 교사의 지식을 학생 정책으로 전이합니다. 학생 정책의 입력은 속도 의존 노이즈, 지연, 프레임 드롭(가림 현상 모사)으로 모델링된 불완전한 공과 골의 위치 추정값입니다. 이 단계만으로는 학생 정책의 동작이 경직되고(‘jittery’), 킥 직전과 같은 고위험/고보상 상황에서 갑작스러운 선회 등 불안정한 동작이 나타납니다. 이를 해결한 것이 네 번째 단계(학생 적응 및 정제)입니다. 여기서 N-P3O라는 제약 조건 하의 온라인 강화학습 알고리즘을 적용합니다. 이는 단순한 정규화보다 효과적으로, 킥과 같은 순간에는 비교적 높은 위험을 허용하면서도 평상시에는 부드럽고 안전한 동작을 유도하는 ‘이질적 신용 할당’을 가능하게 합니다. 결과적으로 학생 정책은 노이즈 있는 감각 하에서도 교사 정책에 버금가는 성능을 발휘하면서도 동작 품질과 안정성이 크게 향상됩니다. 어블레이션 연구는 이 적응 단계와 제약 RL, 현실적인 노이즈 모델링이 시뮬레이션에서의 성능과 실제 로봇으로의 제로샷 전이 성공에 모두 필수적임을 입증했습니다.