아트리큘레이션 조작을 위한 포토리얼·물리 일관 데이터 생성 AOMGen

초록

AOMGen은 단일 실물 스캔과 시연 영상, 그리고 같은 카테고리의 디지털 자산을 활용해, 다중 뷰 RGB와 관절·접촉 상태를 포함한 포토리얼 시연 데이터를 자동으로 생성한다. 3D Gaussian Splatting 기반 장면 재구성과 물리 기반 모션 복원을 통해 물체 교체와 자세 변형을 자유롭게 수행하며, 이를 이용해 VLA 정책을 미세조정했을 때 성공률이 0 %에서 88.7 %로 크게 향상된다.

상세 분석

본 논문은 로봇 조작 학습에 필요한 대규모 고품질 시연 데이터를 ‘실제 하나의 촬영’만으로 확장하는 새로운 파이프라인을 제시한다. 핵심은 3D Gaussian Splatting(3DGS)을 이용해 정밀한 장면 재구성을 수행하고, 이를 로봇 팔의 실제 관절 데이터와 연계해 물리적으로 일관된 움직임을 복원한다는 점이다.

1. Scene Reconstruction & Motion Recovery 단계에서는 COLMAP으로 얻은 카메라 포즈와 SAM2·SAGA 기반 파트‑레벨 마스크를 결합해 Gaussian 포인트를 객체별로 분리한다. 이후 ICP를 통해 3DGS 좌표계를 실제 로봇 좌표계와 정렬하고, 로봇 URDF와 Forward Kinematics를 이용해 팔의 변환을 정확히 재현한다.
2. Articulated Object Modeling에서는 움직이는 파트와 고정 파트를 바운딩 박스로 구분하고, 가장 적합한 에지 쌍을 찾는 스코어링 방식을 통해 관절 축과 중심을 추정한다. 접촉점 검출과 Motion Score 기반 키프레임 추출을 통해 움직임 구간을 자동으로 식별하고, 관절 회전/프리즘 이동을 매개변수 θₜ 로 표현한다.
3. Object Replacement & Pose Generalization에서는 동일 카테고리 내 다른 3D 모델을 매핑하고, 원본 장면의 조명·재질 정보를 새 객체에 전이한다. 이를 통해 시각적 디테일은 유지하면서도 다양한 형태·포즈의 데이터셋을 무한히 생성할 수 있다.
   실험에서는 AOMGen으로 만든 데이터로 VLA(비전‑언어‑액션) 정책을 미세조정했을 때, 기존 실세계 시연이 전혀 없는 상황에서도 88.7 %의 성공률을 달성했으며, 미지의 객체와 레이아웃에서도 일반화가 확인되었다.
   주요 기여는 (1) 단일 실물 시연으로부터 카테고리‑레벨 조작 데이터를 자동 생성, (2) 물리적 일관성과 포토리얼리즘을 동시에 만족, (3) 객체 교체·포즈 변형을 통한 데이터 다양성 확대, (4) 실제 로봇 정책 성능을 크게 향상시킨 점이다.
   한계점으로는 현재 회전·프리즘 관절만 지원하고, 복잡한 접촉·마찰 모델을 명시적으로 고려하지 않으며, 3DGS 기반 편집이 고해상도 텍스처 재현에 제한적일 수 있다. 향후 다중 관절·비선형 변형, 고급 물리 엔진과의 하이브리드 통합이 기대된다.