점진적 해상도 정책 증류를 통한 효율적인 굴착 로봇 학습

초록

본 논문은 입자 기반 굴착 시뮬레이터에서 해상도를 단계적으로 높이며 정책을 전이하는 “Progressive‑Resolution Policy Distillation (PRPD)” 프레임워크를 제안한다. 저해상도 시뮬레이션으로 빠르게 사전 학습한 정책을 중간 해상도에서 보수적으로 정제하고, 최종적으로 고해상도 시뮬레이션에서 미세 조정함으로써 전체 학습 시간을 1/7 수준으로 감소시키면서 실제 로봇 실험에서 90 % 이상의 성공률을 유지한다.

상세 분석

PRPD는 두 가지 근본적인 문제를 동시에 해결한다. 첫째, 입자 기반 시뮬레이션은 입자 수가 늘어날수록 연산 복잡도가 O(N²)에 가깝게 증가해 RL에 필요한 수백만 샘플을 수집하는 데 수십 시간에서 수백 시간이 소요된다. 둘째, 저해상도 시뮬레이션은 계산은 빠르지만 입자 간 마찰·충돌·토양 변형 모델이 크게 단순화돼 실제 토양·암석 상호작용을 제대로 재현하지 못한다. 이러한 “해상도 격차(domain gap)”는 정책을 직접 전이하면 급격한 행동 변화와 학습 불안정을 초래한다.

PRPD는 이를 완화하기 위해 (1) 점진적 해상도 전이와 (2) 보수적 정책 증류라는 두 축을 도입한다. 점진적 전이는 coarse → middle₁ → middle₂ → fine 순서로 해상도를 단계적으로 상승시키며, 각 단계마다 정책을 재학습한다. 여기서 중간 해상도는 coarse와 fine 사이의 연산량을 크게 늘리지 않으면서도 실제 물리적 현상에 대한 근사 정확도를 충분히 확보하도록 설계된다. 보수적 정책 증류는 KL‑divergence 기반의 정규화 손실을 추가해 새 해상도에서의 정책 업데이트가 기존 정책과 크게 차이나지 않도록 제한한다. 즉, 새로운 환경에서의 행동 변화를 “작게” 유지하면서도 점진적으로 더 정교한 행동을 학습한다.

알고리즘적으로는 Soft Actor‑Critic (SAC) 기반의 off‑policy RL을 사용하고, 각 단계마다 Distillation Loss = α·KL(π_new‖π_old) + β·L_SAC 형태로 손실을 결합한다. α와 β는 단계별 실험을 통해 조정되며, α가 클수록 정책 변동을 억제한다. 또한, 정책 전이 성공 여부를 판단하기 위해 Stability Check를 도입한다. 이는 새로운 정책이 일정 에피소드 동안 평균 보상이 이전 정책 대비 일정 비율 이상 유지되는지를 검증하고, 기준을 만족하지 못하면 해상도 상승을 보류하고 추가 학습을 진행한다.

실험에서는 Isaac Gym 기반의 가변 해상도 굴착 시뮬레이터를 구축했다. coarse (입자 크기 30 mm, 약 10⁴ 입자), middle₁ (15 mm, 4× 입자), middle₂ (7.5 mm, 16× 입자), fine (3 mm, 100× 입자) 네 단계가 사용되었다. 학습 시간은 각각 30 min, 80 min, 150 min, 600 min이 소요되었으며, PRPD는 전체 90 min(≈1/7) 안에 fine‑resolution 수준의 정책을 얻었다. 실제 현장에서는 9종류의 암석(크기·형상 다양)와 토양 혼합물에 대해 90 % 이상의 성공률을 기록했으며, 직접 fine‑resolution에서 학습한 정책과 통계적으로 유의미한 차이가 없었다.

주요 기여는 (1) 해상도 기반 도메인 격차를 단계적 전이와 KL‑regularization으로 완화한 새로운 정책 증류 프레임워크, (2) 입자 기반 시뮬레이션에서 “시간 효율성”을 크게 개선한 실증적 증거, (3) 실제 굴착 로봇에 적용 가능한 시뮬‑실 전이 파이프라인을 제시한 점이다. 한계로는 중간 해상도 설계가 도메인‑특정 경험에 의존한다는 점과, 현재는 2D 평면 시뮬레이션에 국한돼 3D 복합 환경에서는 추가 연구가 필요하다는 점을 들 수 있다.