NeRF 기반 3D 3D 자세 정렬로 자율주행 차량 위치 보정

초록

본 논문은 사전 학습된 Neural Radiance Field(NeRF)를 이용해 차량의 현재 깊이 이미지와 3D‑3D 대응점을 만들고, Procrustes 분석으로 SE(3) 변환을 추정해 자세 오차를 보정하는 NAP3D 방법을 제안한다. 2D‑3D PnP와 비교해 5 cm 이내의 위치 정밀도를 달성했으며, TUM RGB‑D 데이터셋에서도 평균 6 cm 정도 RMSE 개선을 보였다.

상세 분석

NAP3D는 기존 SLAM의 루프 클로저가 “재방문”을 전제로 하는 반면, NeRF라는 사전 구축된 3차원 장면 모델을 활용해 현재 관측된 깊이 이미지와 가상으로 렌더링된 NeRF 뷰 사이에 직접적인 3D‑3D 대응점을 만든다. 핵심 단계는 다음과 같다. 첫째, Nerfstudio의 depth‑nerfacto 파이프라인을 이용해 RGB 이미지와 추정된 깊이(또는 외부 깊이 추정기인 Zoe)를 결합해 고품질 깊이 정보를 포함한 NeRF를 학습한다. 둘째, 차량이 추정된 위치에 해당하는 카메라 파라미터를 NeRF에 입력해 RGB와 깊이 맵을 합성한다. 셋째, 실제 깊이 카메라(RealSense D455i)에서 얻은 RGB‑Depth 쌍과 NeRF에서 생성된 쌍에 대해 SIFT와 FLANN을 사용해 2D 키포인트 매칭을 수행하고, 각 키포인트에 대응되는 깊이 값을 이용해 카메라 좌표계에서 3D 좌표로 역투영한다. 넷째, 두 3D 포인트 집합에 대해 고전적인 Procrustes(Umeyama) 분석을 적용해 최적의 회전 행렬 R과 평행이동 벡터 t를 구한다. 이때 SVD 기반의 회전 추정은 정규성 가정을 만족하도록 det(R)=1을 강제한다. 다섯째, 실제 환경에서는 깊이 노이즈와 NeRF 재구성 오류가 존재하므로, RANSAC 기반의 외곡점 제거와 깊이 방향(σz)과 횡방향(σxy) 차이를 고려한 이방성 잔차 모델을 도입해 견고성을 높였다. 계산 복잡도는 N개의 대응점에 대해 O(N)이며, RANSAC 반복 K를 포함해 O(KN) 수준으로 실시간 CPU 실행이 가능하다. 실험에서는 자체 제작한 실내 데이터셋과 TUM RGB‑D의 freiburg3_long_office_household 시퀀스를 사용했으며, 2D‑3D PnP 대비 평균 5 cm 이내의 위치 오차 감소와 6 cm 정도의 RMSE 개선을 기록했다. 특히 회전 오차는 PnP가 일부 상황에서 더 낮을 수 있으나, 전체적인 3D 정합성 측면에서는 NAP3D가 더 일관된 결과를 보여준다. 이 방법은 깊이 카메라만 있으면 되므로 센서 융합이 어려운 저비용 플랫폼에도 적용 가능하고, 기존 SLAM 파이프라인에 외부 보정 모듈로 쉽게 통합될 수 있다.