동적 물체 움직임을 활용한 고정 카메라에서의 정밀 3D 재구성 및 외관 복원

초록

본 논문은 정적인 소수의 고정 카메라만으로 촬영된 영상에서, 사용자가 물체를 조작하는 ‘우연한 움직임’을 가상 뷰포인트로 전환해 물체의 6DoF 궤적과 정밀한 기하·외관을 공동 최적화한다. 2D Gaussian splatting 기반의 교대 최적화와, 확산·반사 성분을 구분하는 새로운 SH 기반 외관 모델을 도입해, 조명 변화와 스페큘러 효과를 정확히 모델링한다. 실험 결과, 기존 최첨단 방법보다 현저히 높은 기하·외관 정확도를 달성한다.

상세 분석

이 연구는 두 가지 근본적인 난제를 해결한다. 첫째, 정적인 카메라와 움직이는 물체 사이의 상대적인 6DoF 포즈를 추정하는 문제는, 전통적인 SLAM이나 SfM이 전체 이미지 정보를 활용하는 것과 달리 물체 자체만을 단서로 삼아야 하므로 초기화에 매우 민감하다. 저자는 이를 완화하기 위해 ‘소프트 마스크드 변환(soft‑masked transform)’을 제안한다. 각 Gaussian primitive에 대한 마스크 값 mᵢ∈