객체 포즈 추정과 재구성이 로봇 잡기 성공에 미치는 영향 평가

초록

본 논문은 3D 재구성 품질과 6D 객체 포즈 추정 오류가 로봇 잡기 성공률에 어떻게 영향을 미치는지를 물리 기반 시뮬레이션을 통해 정량화한다. YCB‑V 데이터셋과 다양한 최신 재구성·포즈 추정 알고리즘을 사용해 수백만 건의 잡기 시도를 수행하고, 그 결과를 ‘그립 생성 성공률’과 ‘예측 성공률’이라는 두 가지 기능 지표로 평가한다. 실험 결과, 재구성 아티팩트는 가능한 그립 후보 수를 크게 감소시키지만, 정확한 포즈가 제공될 경우 실제 잡기 성공률에는 미미한 영향을 미친다. 또한, 위치 오차가 회전 오차보다 잡기 성공에 더 큰 영향을 주며, 대칭 객체의 경우 단순한 평행이동 오류만으로도 성공 가능성을 예측할 수 있음을 확인한다.

상세 분석

이 연구는 로봇 조작 파이프라인을 ‘인식 → 행동’의 연속적인 변환 사슬로 모델링하고, 각 단계에서 발생하는 오류가 최종 물리적 결과에 미치는 영향을 체계적으로 측정한다. 핵심 변환은 세계 좌표계(W), 카메라 좌표계(C), 객체 좌표계(O), 그리퍼 좌표계(G) 사이의 동차 변환 행렬로 정의되며, 실제 로봇이 사용할 그리퍼 목표 자세 T_est^w→g 를 추정된 객체 포즈 T_est^c→o 와 사전 계산된 그립 포즈 T_o→g 로 구성한다. 시뮬레이션에서는 동일한 장면에 실제 물리 기반 GT 객체와 시각적 레퍼런스로만 사용되는 EST 객체를 동시에 배치해, 추정된 자세에 따라 그리퍼를 움직이지만 물리적 충돌은 GT 객체와 이루어지도록 설계하였다. 이는 현실 세계에서 인식 오류가 직접 행동에 반영되는 상황을 정확히 재현한다.

평가 파이프라인은 세 가지 실험 조건을 제시한다. ① 완전한 GT 모델을 사용한 이상적 베이스라인, ② GT 모델로 그립을 생성하고 재구성 모델로 포즈를 추정해 포즈 오류만을 격리, ③ 재구성 모델을 그립 생성과 포즈 추정 모두에 사용해 실제 엔드‑투‑엔드 오류를 측정한다. 각 조건에서 5,000개의 무작위 안티폴드 그립을 사전 생성하고, 성공/실패를 물리 기반 시뮬레이션으로 판단한다. 성공률을 정량화하기 위해 ‘그립 생성 성공률(S_gen)’과 ‘예측 성공률(S_est)’을 정의했으며, 실패 원인을 ‘슬립’, ‘무접촉’, ‘충돌’ 등으로 세분화해 원인 분석을 가능하게 했다.

재구성 방법으로는 NeRF 기반 Instant‑NGP, NeRFacto, Neuralangelo, Implicit Surface 기반 UniSurf, MonoSDF, VolSDF, BakedSDF, 그리고 상용 포토그래메트리 툴 RealityCapture 등 9종을 사용했다. 포즈 추정기로는 MegaPose와 FoundationPose를 채택해 최신 제로‑샷 및 범용 성능을 검증하였다. 실험 결과, 재구성 메쉬의 Chamfer 거리나 표면 정밀도가 낮아도, 포즈 추정이 정확히 이루어질 경우 S_est 은 거의 변하지 않아 ‘포즈 정확도’가 잡기 성공에 가장 결정적인 요인임을 확인했다. 반면, 재구성 메쉬가 불완전하면 사전 생성된 그립 후보 수가 크게 감소해 S_gen 이 낮아지고, 이는 실제 로봇이 사용할 수 있는 그립 옵션을 제한한다. 또한, 위치 오차가 5 mm 수준을 초과하면 ‘무접촉’ 실패가 급증하고, 회전 오차는 대칭 객체에서는 상대적으로 덜 민감하게 작용한다는 흥미로운 패턴을 발견했다. 이러한 결과는 로봇 시스템 설계 시, 고품질 메쉬보다 정확한 포즈 추정에 더 많은 리소스를 할당하는 것이 효율적일 수 있음을 시사한다.