활성 6D 포즈 추정 텍스처 없는 물체를 위한 다중뷰 RGB 접근

초록

본 논문은 텍스처가 없는 물체의 6D 포즈를 RGB 이미지만으로 추정하기 위해, 3D 위치와 회전을 순차적으로 추정하는 두 단계 프레임워크를 제안한다. 첫 단계에서는 다중뷰를 이용해 물체의 3차원 변환을 정확히 복원하고, 두 번째 단계에서는 정규화된 템플릿 매칭으로 회전을 결정한다. 또한, 정보 이론 기반의 다음 최적 뷰(NBV) 선택 전략을 도입해 최소한의 이미지로도 높은 포즈 정확도를 달성한다. ROBI, TOD, 그리고 투명 물체 전용 T‑ROBI 데이터셋에서 기존 RGB‑기반 및 깊이 기반 방법들을 크게 능가하는 성능을 보였다.

상세 분석

이 연구는 텍스처가 없는 물체에 대한 6D 포즈 추정 문제를 RGB만으로 해결하려는 근본적인 한계를 인식하고, 두 단계로 문제를 분해한다는 핵심 아이디어를 제시한다. 첫 번째 단계에서는 다중 뷰 RGB 프레임을 활용해 물체의 3D 변환(translation)을 추정한다. 여기서 저자들은 각 프레임에서 물체의 2D 바운딩 박스와 사전 정의된 3D 모델을 이용해 스케일-불변 특징을 추출하고, 알려진 카메라 포즈와 결합해 선형 시스템을 풀어 전역적인 깊이와 스케일을 복원한다. 이 과정은 단일 RGB 이미지에서 발생하는 깊이·스케일 불확실성을 다중 뷰의 기하학적 제약으로 감소시킨다.

두 번째 단계에서는 앞서 얻은 정확한 translation을 고정하고, 회전(orientation) 추정을 위해 정규화된 템플릿 매칭을 수행한다. 템플릿은 물체의 canonical scale에 맞춰 렌더링된 깊이·에지 이미지이며, 각 뷰에서 추출된 에지 맵과의 상관을 최대화하는 회전을 탐색한다. 회전 공간의 다중 모달성을 고려해 대칭성을 사전에 정의하고, 대칭 그룹에 속하는 회전 후보들을 모두 평가한 뒤 최소 오차를 갖는 회전을 선택한다. 이때, 회전 추정에 사용되는 에지 맵은 별도의 네트워크 헤드가 예측한 per‑frame edge map을 활용해, 조명 변화와 잡음에 강인한 특징을 제공한다.

다음 최적 뷰(NBV) 선택은 정보 이론적 접근으로 구현된다. 현재까지 관측된 뷰들로부터 얻은 포즈 분포의 엔트로피를 계산하고, 후보 카메라 위치 각각에 대해 가상의 관측을 시뮬레이션해 기대 엔트로피 감소량을 추정한다. 엔트로피 감소가 가장 큰 뷰를 선택함으로써, 최소한의 추가 이미지로도 포즈 불확실성을 급격히 낮출 수 있다. 이 전략은 기존의 휴리스틱 기반 뷰 선택(예: 가장 큰 시야 확보, 무작위 샘플링)보다 적은 뷰 수로 동일하거나 더 높은 정확도를 달성한다는 실험 결과를 보여준다.

실험에서는 공개된 ROBI와 TOD 데이터셋 외에, 반투명·투명 물체에 특화된 T‑ROBI 데이터셋을 새롭게 구축하였다. 또한, 두 데이터셋을 기반으로 대규모 합성 데이터셋을 생성해 네트워크 학습에 활용하였다. 결과는 동일한 뷰 수에서 기존 최첨단 RGB‑기반 방법(CosyPose, PVNet 등)을 크게 앞서며, 깊이 기반 방법과 비교했을 때 반사성 물체에서는 비슷한 수준, 투명 물체에서는 현저히 우수한 성능을 기록한다. 특히 NBV 전략을 적용했을 때는 30%~40% 적은 뷰로도 기존 방법과 동등한 정확도를 달성했다.

이 논문의 주요 기여는 (1) 6D 포즈 추정을 두 단계로 분리해 깊이·스케일 불확실성을 효과적으로 해소한 프레임워크, (2) 대칭성을 고려한 회전 최적화와 에지 기반 템플릿 매칭을 결합한 회전 추정 기법, (3) 엔트로피 기반 NBV 선택을 통한 효율적인 활성 비전 전략, (4) 투명 물체 전용 데이터셋과 대규모 합성 학습 데이터 제공이다. 이러한 요소들은 로봇 매니퓰레이션, 물류 자동화, 그리고 투명·반투명 부품을 다루는 산업 현장에서 RGB만으로도 신뢰할 수 있는 6D 포즈 추정이 가능함을 입증한다.