SynthVerse: 포인트 트래킹을 위한 대규모 다중도메인 합성 데이터셋

초록

SynthVerse는 5,816K 프레임·48K 시퀀스로 구성된 대규모 합성 데이터셋으로, 애니메이션 영화, 로봇 조작, 실내 내비게이션, 관절·변형 객체 등 네 가지 새로운 도메인을 포함한다. Blender와 Isaac Sim을 결합한 파이프라인으로 egocentric·allocentric 시점을 모두 제공하며, 고품질 2D·3D 궤적과 가시성 라벨을 자동 생성한다. 기존 트래커들을 이 벤치마크에 평가한 결과, 도메인 변동에 취약함을 확인했으며, SynthVerse로 사전학습한 모델은 다양한 테스트 환경에서 일관된 성능 향상을 보였다.

상세 분석

SynthVerse는 기존 합성 포인트 트래킹 데이터셋이 갖는 ‘규모·다양성·시점’의 3대 한계를 체계적으로 해소한다. 첫째, 5,816K 훈련 프레임과 48K 시퀀스는 기존 Kubric(62K), PointOdyssey(192K) 등을 압도하는 규모이며, 이는 딥러닝 기반 트래커가 데이터 부족으로 인한 과적합을 피하고 일반화 능력을 키우는 데 필수적이다. 둘째, 데이터 구성에 ‘애니메이션 영화 스타일’, ‘구현된 로봇 조작(GenManip)’, ‘실내 내비게이션’, ‘관절·변형 객체(URDF, PartNet‑Mobility)’ 등 네 개의 신규 도메인을 추가함으로써, 실제 로봇·AR·VR 응용에서 마주치는 복합 동작·가시성·뎁스 변화를 그대로 재현한다. 특히 관절 객체 1K 시퀀스와 변형 객체 6K 시퀀스는 기존 데이터가 거의 제공하지 않았던 물리 기반 변형을 포함한다. 셋째, Blender와 Isaac Sim을 병행 사용해 egocentric(손·머리 카메라)와 allocentric(고정/궤도 카메라) 시점을 동시에 수집한다. 이는 트래커가 관찰자 관점 변화에 강인하도록 학습할 수 있게 한다.

기술 파이프라인은 원시 3D/4D 자산, HDR 환경맵, 씬 레이아웃, 모션 프리셋을 통합하고, VLA‑driven 로봇 행동, 3DHOI(인간‑물체 상호작용) 재현, 애니메이션 샷 레벨 프로젝트 등 ‘테크니컬 컴포넌트’를 모듈화한다. 렌더링 단계에서 RGB, Depth, Instance Mask를 동시에 기록하고, 물리 엔진이 제공하는 객체 상태(포즈·관절 각도·변형)로부터 3D 포인트 궤적을 추출한 뒤 카메라 파라미터로 2D 투영한다. 가시성 라벨은 깊이와 마스크 기반 occlusion 체크로 자동 결정한다. 이러한 자동화는 인간 라벨링 비용을 0에 가깝게 낮추면서도 라벨 정확도를 실세계 수준으로 유지한다.

벤치마크 실험에서는 PIP, TAPIR, MVTracker, CoTracker, SpatialTracker, DELTA, TAPIP‑3D, D4R 등 최신 2D·3D 트래커 8종을 평가했다. 결과는 (1) 동일 도메인 테스트에서는 기존 데이터와 비슷하거나 약간 우수했지만, (2) 도메인 전이(예: egocentric→allocentric, 로봇→동물) 상황에서는 성능 급락을 보였다. 반면 SynthVerse로 사전학습한 모델은 평균 7~12% AP 상승을 기록했으며, 특히 관절 객체와 변형 객체 시퀀스에서 기존 모델 대비 15% 이상 개선되었다. 이는 데이터 다양성이 트래커의 ‘동작 인식·오클루전 회복·시점 불변성’을 동시에 강화함을 의미한다.

한계점으로는 (a) 합성 데이터이므로 실제 센서 노이즈·렌즈 왜곡을 완전 재현하지 못한다는 점, (b) 현재는 주로 RGB‑Depth‑Mask 3채널을 제공하지만, 물리적 힘·접촉력 라벨이 없어서 물리 기반 추론 연구에 바로 활용하기는 어렵다. 향후 실제 카메라 캘리브레이션을 적용한 도메인 어댑테이션 및 힘·접촉 라벨 추가가 기대된다.