더 똑똑하게 밀어내기: 효율적인 비파지적 조작을 위한 계층적 RL 확산 정책

초록

복잡한 환경에서 물체를 밀어내는 비파지적 조작은 어려운 제어 문제입니다. 본 연구는 HeRD라는 계층적 강화학습-확산 정책을 제안합니다. 상위 수준의 강화학습 에이전트가 중간 공간 목표를 선택하고, 하위 수준의 목표 조건 확산 모델이 이를 달성하기 위한 실현 가능하고 효율적인 궤적을 생성합니다. 이 방법은 2D 시뮬레이션 환경에서 기존 최신 기법보다 성공률, 경로 효율, 다양한 환경 구성에 대한 일반화 성능에서 우수함을 입증했습니다.

상세 분석

이 논문이 제안하는 HeRD(계층적 강화학습-확산 정책)의 핵심 기술적 통찰은 복잡한 로봇 조작 문제를 ‘전략(무엇을 할지)‘과 ‘실행(어떻게 할지)‘으로 명확히 분리한 계층적 접근법에 있습니다. 기존 Spatial Action Maps(SAM) 방식은 강화학습(RL)으로 공간 목표를 선택한 후, 단순한 최단 경로 알고리즘(SPFA)을 통해 궤적을 생성했습니다. 이는 환경의 문맥(예: 움직일 수 있는 물체의 위치, 장애물)을 고려하지 않은 경로를 생성할 수 있어 비효율적이거나 충돌을 유발할 수 있었습니다.

HeRD는 이 문제를 해결하기 위해 하위 계층에 확산 모델(Diffusion Model)을 도입했습니다. 확산 모델은 인간 시범 데이터로 학습되어, 로봇의 역학과 환경의 물리적 제약을 내재적으로 이해하고, 자연스럽고 실현 가능한 궤적을 생성할 수 있습니다. 특히 논문은 확산 모델의 생성 과정에 ‘Feasibility Conditioning’을 적용하여 충돌 회피 등의 제약 조건을 명시적으로 반영했습니다.

흥미로운 설계 선택은 하위 계층 컨트롤러의 조건부 사용입니다. SPFA로 생성된 경로가 움직이는 박스와 교차하면(즉, 밀기 작업이 필요하면) 기존의 간단한 비례 제어기를 사용하고, 그렇지 않은 경우(즉, 단순 내비게이션 또는 위치 선정이 필요하면) 확산 정책을 사용합니다. 이는 박스를 밀 때 발생하는 강한 보상 신호(진전 보상)는 RL 에이전트가 학습하기에 충분하지만, 효율적인 위치 선정이나 복잡한 장애물 회피와 같은 미묘한 전략은 보상 함수로 설계하기 어려워 인간 시범의 직관을 빌리는 것이 더 효과적이라는 통찰에서 비롯되었습니다. 이는 RL의 장기적 보상 최적화 능력과 확산 모델의 풍부한 생성 능력을 상황에 맞게 융합한 하이브리드 아키텍처의 강점을 보여줍니다.

실험 결과, HeRD는 기존 SAM 대비 성공률을 크게 향상시켰을 뿐만 아니라, 과제 완료까지의 총 이동 거리를 줄여 ‘효율성’ 목표도 달성했습니다. 이는 확산 정책이 생성하는 궤적이 단순한 최단 경로보다 환경 문맥을 고려한 더 스마트한 이동을 가능하게 했기 때문으로 해석됩니다.