이미지만으로 제로샷 3D 시각적 정합 Z3D

초록

Z3D는 다중 뷰 이미지와 선택적으로 카메라 포즈·깊이 정보를 활용해, 별도의 3D 라벨링 없이 자연어 질의에 따라 3D 객체를 정확히 위치시키는 제로샷 3D 비주얼 그라운딩 파이프라인이다. 고품질 3D 인스턴스 제안(MaskClustering)과 프롬프트 기반 세그멘테이션(SAM3‑Agent)을 결합해 기존 제로샷 방법 대비 40% 이상 성능을 끌어올렸다.

상세 분석

Z3D는 기존 제로샷 3D 비주얼 그라운딩(VG) 연구가 안고 있던 두 가지 핵심 병목—낮은 품질의 객체 제안과 제한적인 VLM 활용—을 체계적으로 해소한다. 첫 번째 단계에서는 최신 제로샷 3D 인스턴스 세그멘테이션 기법인 MaskClustering을 도입해, 포인트 클라우드 기반으로 클래스에 구애받지 않는 고정밀 3D 마스크와 바운딩 박스를 자동 생성한다. 이는 기존에 BERT·CLIP 등 비생성형 언어 모델에 의존해 만든 저품질 제안보다 IoU 기준에서 현저히 높은 정확도를 제공한다. 두 번째 단계에서는 프롬프트 기반 세그멘테이션 에이전트인 SAM3‑Agent를 활용한다. SAM3‑Agent는 VLM의 추론 결과를 실시간 프롬프트로 변환해 반복적으로 마스크를 정제함으로써, “보드 게임을 놓을 수 있는 테이블”처럼 구체적이면서도 모호한 언어 표현도 정확히 매핑한다.

뷰 선택 과정에서도 혁신이 돋보인다. 전체 이미지에 VLM을 직접 적용하면 연산 비용이 급증하므로, 저비용 CLIP 임베딩을 이용해 질의와 가장 유사한 6개의 프레임을 사전 필터링한다. 이후 VLM이 이 후보 중 최적의 3프레임을 선정해 최종 세그멘테이션과 3D 리프팅을 수행한다. 이렇게 두 단계로 나눈 뷰 선택은 연산 효율성을 유지하면서도 중요한 시점 정보를 놓치지 않는다.

2D‑to‑3D 리프팅 단계에서는 기존 방법이 2D 마스크를 단순히 합쳐 하나의 3D 바운딩 박스를 만드는 방식과 달리, 2D 마스크를 각각 3D 포인트 클라우드에 투영한 뒤 MaskClustering에서 생성된 후보와 3D IoU 기반 투표 메커니즘을 적용한다. 이는 외곽 노이즈에 강인하고, 다중 뷰에서 얻은 부분 마스크들을 효과적으로 통합한다.

또한 Z3D는 깊이 지도나 카메라 포즈가 없는 경우에도 DUSt3R을 이용해 자동으로 깊이와 포즈를 추정하고, TSDF 퓨전을 통해 포인트 클라우드를 복원한다. 이 과정은 완전 제로샷 특성을 유지하면서도 실제 현장 환경에서 이미지만으로 3D 정보를 얻을 수 있게 만든다.

실험 결과는 ScanRefer와 Nr3D 두 벤치마크에서 기존 제로샷 방법을 크게 앞선다. 특히 ScanRefer에서 Acc@0.5 기준으로 OpenScene 대비 +38.7% 향상, Nr3D에서는 Top‑1 정확도에서 최고 기록을 세웠다. Ablation study는 각 모듈—MaskClustering, CLIP 기반 뷰 프리필터, SAM3‑Agent, 다중 뷰 투표—가 독립적으로 성능에 기여함을 입증한다.

한계점으로는 여전히 CLIP에 의존해 초기 프레임을 선택하기 때문에 복잡한 개념을 놓칠 가능성이 있으며, 이미지‑only 시나리오에서는 DUSt3R의 재구성 품질에 크게 좌우된다는 점을 명시한다. 또한 MaskClustering이 계산 비용이 가장 큰 병목임을 부인하지 않는다. 그럼에도 불구하고 Z3D는 제로샷 3D VG 분야에서 이미지 기반 접근성을 크게 확장한 획기적인 시스템이라 할 수 있다.