제약 샘플링으로 유니버설 조작 강화학습 가이드

초록

본 논문은 접촉이 풍부한 로봇 조작 환경에서 모델 기반 제약 샘플러를 활용해 목표조건 강화학습(Goal‑conditioned RL)의 상태 초기화를 편향시킴으로써, 모든 시작 상태와 목표 상태를 연결하는 범용 정책을 효율적으로 학습하는 방법을 제안한다. 제약 샘플링과 제로‑오더 오픈‑루프 궤적 최적화를 결합한 Sample‑Guided RL은 간단한 구체‑구체 조작과 복잡한 파나다 팔 시뮬레이션에서 높은 성공률을 달성한다.

상세 분석

이 연구는 강화학습(RL)이 접촉이 많은 조작 작업에서 탐색 효율이 떨어지는 문제를 제약 기반 샘플링으로 보완한다는 점에서 혁신적이다. 저자들은 기존 목표조건 MDP에 “제약 목표조건 MDP(CG‑MDP)”라는 새로운 수학적 틀을 도입해, 시작·목표 상태가 물리적 충돌·접촉·힘 제약을 만족하는 집합 S_c 위에서 균등하게 추출된다고 정의한다. 이를 위해 비선형 제약식 g_c(s)≤0, h_c(s)=0을 미분 가능하게 구현하고, Augmented Lagrangian 방법으로 무작위 초기값을 투사(projection)해 feasible state를 생성한다. 특히 접촉 모드 변수 c_ij를 이산적으로 샘플링하고, 최대 3개의 지지 접촉만 허용함으로써 비선형 프로그램의 infeasibility를 감소시킨다.

샘플링된 상태는 두 가지 방식으로 RL에 활용된다. 첫째, 에피소드 시작 시 (s,g) 쌍을 직접 제약 샘플에서 뽑아 상태 초기화를 편향함으로써, 에이전트가 물리적으로 실현 가능한 영역을 탐색하도록 만든다. 둘째, 제로‑오더 최적화(zero‑order optimization)를 이용해 B‑spline 형태의 오픈‑루프 궤적을 설계한다. 여기서는 목표와 시작 상태 사이의 거리 ‖ϕ(g)−ϕ(x(T))‖²를 최소화하는 파라미터 θ를 무차별 탐색(예: CMA‑ES)으로 찾으며, ϕ는 위치·속도·접촉 지표(c) 등을 가중합한 특징 벡터이다. 이 과정은 동역학을 블랙박스로 취급하면서도, 접촉 모드 전이를 암시적으로 유도한다.

학습 단계에서는 행동 클로닝(BC) 손실을 선택적으로 추가하고, 목표 재라벨링과 같은 기존 Goal‑conditioned RL 기법과 결합한다. 실험은 두 가지 환경에서 수행된다. 첫 번째는 구와 구가 서로 구슬처럼 구르는 “double sphere” 시뮬레이션으로, 제약 샘플링만으로도 복잡한 회전·밀어내기 전략을 자동 발견하고, 거의 100% 성공률을 기록한다. 두 번째는 파나다 로봇 팔이 구체를 잡고 다양한 지지면에 놓는 과제로, 제약 샘플링과 궤적 최적화를 결합한 Sample‑Guided RL이 거의 0%였던 베이스라인 대비 30% 이상 성공률을 달성한다. 결과는 제약 기반 상태 초기화가 탐색 공간을 크게 축소하고, 물리적으로 타당한 행동을 빠르게 학습하도록 돕는다는 강력한 증거를 제공한다.

이 논문은 (1) 물리 제약을 명시적으로 모델링한 샘플러를 RL에 통합하는 새로운 프레임워크, (2) 제약 샘플링과 제로‑오더 궤적 최적화를 조합해 목표조건 정책을 효율적으로 학습하는 실용적 알고리즘, (3) 복잡한 접촉 환경에서도 범용 정책을 학습할 수 있음을 실험적으로 입증한 점에서 로봇 조작 학습 분야에 중요한 기여를 한다.