옷 뒤집기 로봇을 위한 제로샷 시뮬‑리얼 전이 프레임워크

초록

옷을 안쪽에서 바깥쪽으로 뒤집는 어려운 조작을, 깊이 기반 키포인트로 파라미터화한 양손 프리미티브와 고충실도 MPM 시뮬레이터를 이용해 완전 시뮬레이션만으로 학습하고, 실제 로봇에 제로샷으로 적용해 81 % 이상의 성공률을 달성한다.

상세 분석

본 논문은 옷을 뒤집는(Right‑Side‑Out) 작업을 로봇이 수행하도록 하는 새로운 제로샷 시뮬‑리얼 전이 파이프라인을 제시한다. 가장 큰 혁신은 작업을 “Drag‑Fling”과 “Insert&Pull” 두 단계로 명확히 분해하고, 각 단계마다 깊이 이미지와 마스크에서 추출한 2D 키포인트를 입력으로 하는 파라미터화된 양손 프리미티브를 정의한 점이다. 이 프리미티브는 고정된 템플릿 궤적에 키포인트만을 매핑함으로써 행동 공간을 수백 차원에서 몇 개의 연속적인 좌표로 축소한다. 결과적으로 학습이 훨씬 효율적이며, 시뮬레이션과 실제 환경 사이의 격차를 크게 줄인다.

시뮬레이션 측면에서는 얇은 쉘 변형과 복잡한 마찰·자체 충돌을 정확히 모델링할 수 있는 GPU‑병렬 Material Point Method(MPM) 엔진을 자체 개발하였다. 입자‑그리드 전송은 APIC 방식을 사용하고, 코디멘셔널 쿠션 프릭션을 연속적인 응력 기반 수식으로 구현해 접촉 처리 비용을 크게 낮추면서도 물리적 사실성을 유지한다. 또한 로봇 팔과 테이블을 고정된 콜라이더로 취급해 일방향 접촉 업데이트만 수행하도록 설계함으로써 대규모 배치 롤아웃이 가능하도록 했다.

데이터 생성 파이프라인은 옷의 형태, 재질 파라미터, 초기 배치, 카메라 위치·내부 파라미터 등을 광범위하게 랜덤화한다. 시뮬레이션에서 자동으로 깊이 이미지, 마스크, 그리고 각 프리미티브에 대한 키포인트 라벨을 생성하므로 인간 주석이 전혀 필요하지 않다. 이렇게 얻은 대규모 합성 데이터셋으로 각 프리미티브별 U‑Net 기반 가치 맵 네트워크를 학습시킨다. 네트워크는 실시간으로 깊이와 마스크를 입력받아 가장 높은 가치의 픽셀을 선택하고, 이를 실제 로봇 좌표계로 역투영해 행동을 실행한다.

실제 실험에서는 6‑DoF 양팔 로봇과 Overhead RealSense D415 한 대만을 사용했으며, 다양한 크기·형태·재질의 티‑탑을 대상으로 81.3 %의 성공률을 기록했다. 성공 기준은 최종 이미지에서 옷의 외부 면이 차지하는 비율이 80 % 이상인 경우이며, 이는 기존의 대규모 텔레옵 데이터에 의존하는 방법들에 비해 훨씬 적은 비용으로 달성된 결과이다.

핵심 기여는 (1) 옷 뒤집기라는 새로운 과제를 정의하고, (2) 키포인트‑조건화 양손 프리미티브를 통해 행동 공간을 효율적으로 축소한 점, (3) 얇은 쉘 변형을 정확히 다루는 GPU‑병렬 MPM 시뮬레이터와 완전 자동화된 데이터 파이프라인을 구축한 점, (4) 인간 시연 없이 순수 시뮬레이션만으로 제로샷 전이를 성공시킨 점이다. 이 접근법은 동적·접촉‑집중형 조작 과제 전반에 적용 가능성을 시사한다.