제로샷 장면 재구성과 로봇 그리핑을 위한 미분 가능 인버스 그래픽스

초록

본 논문은 단일 RGB‑D 이미지와 바운딩 박스만을 이용해, 사전 3D 데이터 없이도 물리적으로 일관된 메쉬, 조명, 재질, 6D 포즈를 추정하는 미분 가능 신경‑그래픽스 모델을 제안한다. 단계적 최적화 파이프라인(세그멘테이션 → 타원체 초기화 → 미분 가능 렌더링 → 메쉬 정제)을 통해 제로샷 장면 재구성을 수행하고, 재구성된 씬을 시뮬레이션 기반 그리핑에 활용해 실제 로봇 그리핑 실험에서도 높은 성공률을 보였다.

상세 분석

이 연구는 로봇이 새로운 물체를 단 한 번의 관찰만으로 형태와 자세를 파악하고, 즉시 조작할 수 있도록 하는 ‘제로샷’ 인버스 그래픽스 파이프라인을 설계했다. 핵심은 물리 기반 미분 가능 렌더러와 최신 foundation model(SAM) 을 결합해, 전통적인 대규모 학습 없이도 장면 파라미터를 연속적으로 추정한다는 점이다. 첫 단계에서 EfficientDet‑D7 혹은 SSD‑512와 같은 객체 탐지기로 바운딩 박스를 얻고, 이를 SAM에 입력해 고품질 마스크를 생성한다. 마스크와 깊이 이미지로부터 포인트 클라우드를 만든 뒤, 각 물체에 대해 라플라스·로그정규·절단 정규 분포를 이용한 MAP 추정으로 타원체(위치·스케일)를 강인하게 초기화한다. 이 초기값은 이후 L‑BFGS 기반의 미분 가능 렌더링 최적화에 사용되며, 조명, 재질(Phong 파라미터), 물체의 6D 포즈를 동시에 업데이트한다. 여기서 제안된 소프트 마스크 함수는 이진 마스크의 0‑gradient 문제를 해결해, 렌더링 손실이 마스크 경계에서도 의미 있는 기울기를 제공한다. 최적화는 라인 제약을 통해 물체 위치 탐색 차원을 1D로 축소하거나, 장벽 함수로 물리적 경계(예: 재질 값의 상·하한)를 강제한다. 마지막 단계에서는 제어 케이지와 평균값 좌표를 이용해 메쉬 정점을 변형시키며, 라플라시안 스무딩, 깊이 불연속성 억제, 그리고 초기 타원체 부피와의 일치성을 보장하는 부피 손실을 추가한다. 이러한 다중 단계 최적화는 각 단계가 서로 보완하도록 설계돼, 초기 타원체가 제공하는 전역적인 형태 정보를 바탕으로 세부 메쉬가 정교화된다. 실험에서는 YCB‑Video 등 기존 6D 포즈 베이스라인(FS6D, Gen6D, LatentFusion 등)보다 적은 학습·테스트 데이터로도 높은 정확도를 달성했으며, 재구성된 씬을 이용한 시뮬레이션 기반 그리핑 파이프라인이 실제 로봇에서 80% 이상의 성공률을 기록했다. 주요 기여는 (1) 3D 학습 데이터 없이도 동작하는 제로샷 재구성 파이프라인, (2) 물리적 사전과 강인한 타원체 초기화를 결합한 최적화 전략, (3) JAX 기반의 경량 미분 가능 레이더 엔진과 소프트 마스크 설계이다. 한계점으로는 복잡한 반사·투명 물체에 대한 재질 추정이 아직 부족하고, 단일 뷰에서의 깊이 노이즈가 큰 경우 초기 타원체 추정이 불안정할 수 있다는 점을 들 수 있다. 향후 다중 뷰 확장이나 비구조적 물체에 대한 사전 학습 없이도 일반화 가능한 메타‑옵티마이저 개발이 기대된다.