HI‑SLAM2: 단일 RGB 카메라만으로 고속·고정밀 3D 재구성을 구현하는 기하학‑인식 가우시안 SLAM

초록

HI‑SLAM2는 RGB 영상만을 입력으로 받아, 3D Gaussian Splatting(3DGS) 기반 지도와 monocular depth·normal 프라이어를 결합해 빠르고 정확한 단일 카메라 3D 재구성을 수행한다. 스케일‑그리드 정렬, 키프레임 기반 온라인 루프 클로저, 그리고 가우시안 단위 변형을 통한 즉시 지도 업데이트를 도입해 전역 일관성을 유지한다. Replica·ScanNet·ScanNet++ 등에서 기존 Neural SLAM 및 RGB‑D 기반 방법들을 능가한다.

상세 분석

본 논문은 기존 Neural SLAM 혹은 3DGS‑기반 SLAM이 렌더링 품질과 기하학 정확도 사이에서 트레이드‑오프를 겪는 문제를 근본적으로 해결하고자 한다. 핵심 아이디어는 ‘기하학‑인식’이라는 두 축을 동시에 강화하는데 있다. 첫 번째 축은 monocular depth와 normal 프라이어를 활용한 사전 지오메트리 추정이다. 저자들은 단일 스케일 보정이 아닌 2‑D 그리드 기반 스케일 정렬(JDSA, Joint Depth and Scale Alignment) 방식을 제안한다. 이 방법은 각 키프레임에 대해 공간적으로 변하는 스케일을 추정하고, bilinear interpolation을 통해 연속적인 스케일 맵을 구성한다. 이렇게 하면 깊이 추정 시 발생하는 비선형 스케일 왜곡을 최소화하면서도 Schur complement 기반 최적화의 효율성을 유지한다.

두 번째 축은 지도 표현이다. 기존 HI‑SLAM이 사용하던 신경망 기반 implicit field를 3D Gaussian Splatting으로 교체함으로써, (1) 실시간 렌더링 속도가 크게 향상되고, (2) 가우시안 파라미터(위치·공분산·색상·불투명도)만을 직접 업데이트함으로써 네트워크 가중치 재학습에 비해 훨씬 가벼운 연산을 가능하게 한다. 또한 3DGS는 사전 정의된 씬 경계가 필요 없으며, 새로운 영역을 탐색할 때 가우시안 단위를 동적으로 추가할 수 있어 확장성이 뛰어나다.

시스템 파이프라인은 크게 네 단계로 나뉜다. (1) 온라인 트래킹 단계에서는 Recurrent Optical Flow 네트워크와 pretrained monocular depth/normal 네트워크를 이용해 매 프레임마다 카메라 포즈와 깊이 맵을 추정한다. 여기서 얻은 깊이 프라이어는 JDSA를 통해 스케일 보정된다. (2) 온라인 루프 클로징 단계에서는 Sim(3) 기반 Pose‑Graph Bundle Adjustment(PGBA)를 수행해 전역 스케일 drift와 누적 포즈 오류를 동시에 최소화한다. (3) 연속 매핑 단계에서는 3DGS 지도에 새로운 가우시안을 삽입·업데이트하고, 키프레임 포즈 변화에 따라 가우시안 파라미터를 직접 변형(deformation)한다. 이는 ‘instant map update’라 불리며, 기존 NeRF‑계열 방법이 요구하는 수 초~수 분의 재학습 시간을 몇 밀리초 수준으로 단축한다. (4) 오프라인 리파인먼트 단계에서는 전체 키프레임 그래프에 대해 Full BA와 Gaussian‑Pose Joint Optimization을 수행해 최종 메쉬를 TSDF‑fusion으로 추출한다.

실험 결과는 세 가지 주요 데이터셋(Replica, ScanNet, ScanNet++)에서 기존 Neural SLAM(예: MonoGS, Splat‑SLAM) 및 최신 RGB‑D SLAM(예: ElasticFusion)과 비교했을 때, (a) Absolute Trajectory Error(ATE)를 평균 29 % 감소, (b) 재구성 정확도(Replica 기준 RMSE) 1.54 cm 향상, (c) PSNR/SSIM 등 렌더링 품질에서도 1‑2 dB·0.02 점 상승을 기록한다. 특히 저조도·저텍스처 환경에서도 깊이·노멀 프라이어가 강력한 보조 정보를 제공해 안정적인 트래킹을 유지한다는 점이 주목할 만하다.

이 논문이 제시하는 두 가지 혁신—스케일‑그리드 정렬과 3DGS 기반 지도—은 Monocular SLAM이 RGB‑D 의존성을 탈피하고, 실시간 로봇·AR 시스템에 바로 적용될 수 있는 실용적 기반을 마련한다. 향후 연구에서는 프라이어를 멀티‑스케일 피라미드 형태로 확장하거나, 가우시안 파라미터에 대한 학습‑가능한 정규화 기법을 도입해 더욱 정교한 표면 복원을 기대할 수 있다.