계약 매핑 임베딩을 통한 인간형 로봇의 거친 지형 주행 강인성

초록

CMR은 고차원 센서 입력을 계약성(수축) 특성을 갖는 잠재 공간으로 매핑해 관측 노이즈를 시간에 따라 감쇠시킨다. 대조학습과 Lipschitz 정규화를 결합한 손실을 PPO와 함께 최적화함으로써, 관측 잡음이 심한 비정형 지형에서도 기존 방법보다 월등히 높은 보행 성능을 달성한다. 이론적으로는 관측 노이즈가 반환 차이에 미치는 영향을 계약 계수 κ에 의해 상한을 두어 증명한다.

상세 분석

본 논문은 인간형 로봇의 장거리 보행에서 관측 노이즈와 모델-실제 간 차이가 초래하는 성능 저하를 근본적으로 해결하고자 한다. 핵심 아이디어는 ‘계약 매핑(Contractive Mapping)’이라는 수학적 개념을 임베딩 학습에 도입하는 것이다. 논문은 두 가지 주요 정리를 제시한다. 첫 번째 정리(Theorem 1)는 관측 노이즈가 존재할 때 정책의 Jacobian ‖∇ₛπ‖≤M이라면 반환 차이가 O(H·L_r·L_f·M·δ_max)으로 상한을 가진다고 증명한다. 여기서 H는 에피소드 길이, L_f는 시스템 동역학의 Lipschitz 상수, L_r은 보상 함수의 Lipschitz 상수, δ_max는 노이즈 크기이다. 이 식은 L_f≥1인 경우 H에 대한 지수적 오차 증폭을 보여, 장시간 제어에 매우 취약함을 지적한다.

두 번째 정리(Theorem 2)는 상태를 계약성 임베딩 ϕ(s)로 변환했을 때, 두 궤적 사이 거리 ‖ϕ(sₜ₊₁)−ϕ(s’ₜ₊₁)‖ ≤ κ‖ϕ(sₜ)−ϕ(s’ₜ)‖+εₜ (0<κ<1) 를 만족하면 반환 차이가 O(η/(1−κ)) 로 제한된다고 제시한다. 여기서 η는 최적 정책과 현재 정책 사이의 평균 행동 차이이며, κ는 계약 계수이다. 중요한 점은 반환 차이가 H에 의존하지 않으며, κ가 작을수록 노이즈 감쇠가 강해져 강인성이 크게 향상된다는 것이다.

구현 측면에서 CMR은 세 가지 손실을 결합한다. ① InfoNCE 기반 대조학습(L_InfoNCE)으로 동일 궤적 내 양성 샘플을 가깝게, 다른 궤적을 멀게 배치해 의미적 구분성을 유지한다. ② 계약성을 강제하는 Lipschitz 정규화(L_Lipschitz)에서는 ‖ϕ(sₜ)−ϕ(s’ₜ)‖²와 ‖ϕ(sₜ₊₁)−ϕ(s’ₜ₊₁)‖² 사이 차이가 κ² 이하가 되도록 패널티를 부여한다. ③ PPO 기반 정책 최적화(L_PPO)를 기본 목표로 삼아, 전체 손실 L_CMR = L_InfoNCE + λ·L_Lipschitz + L_PPO 로 학습한다. λ는 의미 보존과 계약 강도 사이의 트레이드오프를 조절한다.

실험에서는 6가지 복합 지형(I–VI)과 세 가지 노이즈 시나리오(관측, 외부 센서, 시뮬‑실 차이)를 설정하고, 기존 모델 기반 제어(ZMP, LIP), 최신 학습 기반 방법(LCP, LIP‑based RL)과 비교했다. 결과는 CMR이 모든 노이즈 조건에서 평균 반환이 15~30% 이상 우수하고, 특히 고도 변동이 큰 계단·스텝스톤·밸런스 빔에서 안정적인 보행을 유지함을 보여준다. Ablation 실험에서는 대조학습 없이 Lipschitz만 적용하면 의미 손실로 인해 성능이 급감하고, 반대로 Lipschitz 없이 대조학습만 적용하면 노이즈 감쇠 효과가 부족함을 확인했다. 또한, ‘sim‑to‑sim’ 전이 실험에서 훈련된 정책을 새로운 시뮬레이터에 바로 적용했을 때도 성능 저하가 거의 없었으며, 이는 계약 임베딩이 환경 변동에 대한 일반화 능력을 제공함을 의미한다.

이 논문은 계약 매핑 이론을 로봇 제어에 적용한 최초 사례이며, 관측 노이즈가 시스템에 미치는 영향을 수학적으로 상한을 두어 정량화했다는 점에서 학문적 기여가 크다. 또한, 구현이 비교적 간단해 기존 PPO 파이프라인에 손쉽게 통합할 수 있다는 실용성도 강조한다. 다만, κ를 너무 작게 설정하면 임베딩이 과도하게 압축돼 중요한 환경 정보를 손실할 위험이 있으며, 이는 η와의 균형을 맞추는 하이퍼파라미터 튜닝이 필요함을 시사한다. 향후 연구에서는 자동 κ 조정 메커니즘이나, 다중 모달리티(이미지·레이더·점군) 통합을 통한 더욱 풍부한 계약 임베딩 설계가 기대된다.