Geo6DPose 현장 로봇을 위한 초고속 제로샷 6D 포즈 추정

초록

Geo6DPose는 사전 학습된 DINOv2 시각 특징을 활용해 온‑디바이스에서 실시간으로 제로샷 6D 물체 포즈를 추정하는 파이프라인이다. 템플릿 렌더링 단계에서 DINO 패치 디스크립터와 3D 패치 중심을 저장하고, 추론 시 씬 패치와 템플릿을 상호 최근접 매칭으로 3D‑3D 대응을 만든 뒤 RANSAC‑Kabsch로 후보 포즈를 생성한다. 가중 정렬 오류(WAE)로 최종 포즈를 선택하며, 1.08 FPS의 속도로 53.7 AR을 달성한다.

상세 분석

Geo6DPose는 크게 온보딩 단계와 추론 단계로 구분된다. 온보딩에서는 CAD 모델을 다양한 시점에서 렌더링하고, 각 렌더링 이미지에 대해 DINOv2‑base(패치 크기 14 px, 입력 해상도 420 px) 특징을 추출한다. 렌더링된 깊이맵을 이용해 각 패치의 3D 중심 좌표를 카메라 좌표계에 백프로젝션하고, 이 좌표와 디스크립터를 (P, X, T) 형태의 템플릿 데이터베이스에 저장한다. 여기서 T는 카메라‑물체 변환이며, 템플릿마다 PCA를 적용해 디스크립터 차원을 D_PCA=256으로 압축한다. 시점 샘플링은 피보나치 구형 샘플링과 인‑플레인 회전(α=25°, δ=60°)을 결합해 총 N_V≈396개의 뷰를 확보한다.

추론 시에는 외부 세그멘테이션 도구(CNOS 등)로 얻은 마스크를 기반으로 이미지 크롭을 수행하고, 동일한 DINOv2 파이프라인으로 씬 패치 디스크립터를 얻는다. 씬 패치의 깊이값을 이용해 3D 좌표를 복원한 뒤, 각 템플릿과의 코사인 유사도 행렬 S_i∈ℝ^{N_s×N_i}를 계산한다. 상호 최근접(Mutual Nearest Neighbor) 조건을 만족하는 (j, q) 쌍만을 유효 대응으로 채택해 M_i 마스크를 만든다. 템플릿 평점은 커버리지 C_i와 평균 유사도 \bar{s}_i를 γ=0 가중치(즉, 순전히 커버리지)로 결합해 score_i=γ·C_i/N_s+(1−γ)·\bar{s}_i 로 정의한다. 상위 k=15개의 템플릿을 선택하고, 각 템플릿에 대해 3D‑3D 대응 집합을 확보한다.

포즈 후보 생성은 RANSAC‑Kabsch 절차를 사용한다. 각 반복에서 3개의 대응을 샘플링해 Kabsch SVD로 강체 변환(R, t)을 구하고, 물체 직경 d에 대한 절대 오차 |R·c_Ti + t – c_Si|^2 < τ (τ=0.05·d) 조건을 만족하는 인라이어 수를 카운트한다. 최소 6개의 인라이어를 가진 후보 중, 제안된 가중 정렬 오류(WAE)를 최소화하는 변환을 최종 포즈로 채택한다. WAE는 변환된 모델 포인트와 씬 깊이 포인트 클라우드 사이의 평균 유클리드 거리(E_i‖·‖)와, 변환된 모델 포인트가 관측 가능한 씬 마스크 안에 들어가는 비율을 분모로 사용해 정밀도와 재현성을 동시에 보상한다.

성능 평가에서는 BOP Challenge의 6D Localization 프로토콜을 따랐으며, 7개의 핵심 데이터셋(LM, LM-O, T-LESS 등)에서 평균 재현율(AR) 53.7 %와 초당 1.08 프레임을 기록했다. 이는 기존 대규모 사전학습 기반 제로샷 방법(MegaPose 등)과 비교해 비슷한 정확도를 유지하면서 5~10배 빠른 추론 속도를 제공한다. 또한, 전 과정이 훈련·미세조정·클라우드 접속 없이 온‑디바이스에서 실행 가능하므로 로봇 현장 적용에 필요한 전력·지연·보안 요구사항을 충족한다.

핵심 기여는 (1) 훈련‑프리 파이프라인에서도 경쟁력 있는 정확도‑속도 트레이드오프 달성, (2) PCA 기반 디스크립터 압축과 상호 최근접 매칭을 통한 메모리·연산 효율화, (3) 가중 정렬 오류를 통한 노이즈·클러터에 강인한 포즈 선택 메커니즘 제시이다. 향후 연구는 더 경량화된 비전 백본(DINOv3 등)과 실시간 마스크 예측을 통합해 완전 엔드투엔드 로봇 시스템에 적용하는 방향으로 확장될 수 있다.