뉴비에스테레오 뉴럴 렌더링 기반 스테레오 고품질 3D 재구성

초록

NeVStereo는 다중 뷰 RGB 이미지만으로 카메라 자세, 다중 뷰 깊이, 고품질 새로운 시점 합성(NVS), 그리고 정밀 메쉬를 동시에 얻는 통합 파이프라인이다. NeRF 기반 NVS를 이용해 스테레오 친화적인 렌더링을 생성하고, 신뢰도 기반 깊이 투표와 DROID‑SLAM 기반 번들 조정을 통해 자세와 깊이를 교차 최적화한다. 실내·실외·테이블톱·항공 데이터셋에서 기존 방법 대비 깊이 오차 36 % 감소, 자세 정확도 10.4 % 향상, NVS PSNR 4.5 % 상승, 메쉬 F1 91.93 % 등 전반적인 성능 우위를 보인다.

상세 분석

NeVStereo는 기존의 두 갈래 접근법—피드포워드 3D 네트워크와 뉴럴 렌더링 기반 재구성—의 장점을 결합한 새로운 프레임워크이다. 핵심 아이디어는 NeRF(특히 ZipNeRF)를 이용해 고품질 스테레오 쌍을 합성하고, 이를 최신 스테레오 매칭 네트워크(FoundationStereo)로 깊이 추정에 활용한 뒤, 얻어진 깊이와 자세를 반복적으로 정제하는 것이다.

1. NeRF 기반 NVS: ZipNeRF는 안티앨리어싱 볼류메트릭 렌더링, 다중 스케일 슈퍼비전, 제안 기반 샘플링을 결합해 텍스처와 기하학을 부드럽게 재현한다. 이는 기존 3DGS가 생성하는 고주파 아티팩트와 달리 저주파 흐림 형태의 오류만 남겨, 스테레오 비용 볼륨에서 강한 피크를 유지하게 한다. 결과적으로 스테레오 매칭 정확도가 크게 향상된다.

2. 신뢰도‑가이드 다중‑뷰 깊이 투표: 각 레퍼런스 프레임에 대해 주변 N개의 뷰와 양방향 투영 일관성을 검사한다. 전·후방 깊이 차이와 재투영 오차가 사전 정의된 임계값을 만족하면 투표를 가산하고, 전체 투표 수를 정규화해 픽셀‑단위 신뢰도를 산출한다. 최소 투표 수(m_vote)를 초과한 픽셀만을 깊이 지도에 남겨, 대규모 아웃라이어와 잡음이 제거된 ‘깨끗한’ 깊이 지도와 신뢰도 맵을 만든다.

3. EM‑형식 RGB‑D 최적화: DROID‑SLAM의 포토메트릭 손실에 깊이 손실을 추가한다. 깊이 손실은 신뢰도 가중 로버스트 로스(ρ)와 투표 손실(L_vote)을 결합해, 신뢰도가 높은 영역에 더 큰 영향을 주도록 설계되었다. 이렇게 얻어진 깊이‑자세 공동 최적화는 번들 조정 단계와 교차하면서 자세 오차를 감소시키고, 깊이 지도는 점진적으로 정제된다.

4. Iterative NeRF Refinement: 최적화된 깊이와 자세를 이용해 NeRF의 샘플링을 ‘깊이‑가이드 가우시안 레이 샘플링’으로 재구성한다. 이는 기존 NeRF가 전역적인 포토메트릭 손실에만 의존하던 것과 달리, 깊이 정보가 직접적인 기하학적 제약으로 작용해 표면 정밀도를 크게 높인다.

5. 실험적 검증: NVIDIA‑HOPE와 Redwood‑RGBD 등 서로 다른 스케일·품질의 데이터셋에서 NeRF와 3DGS 기반 파이프라인을 비교하였다. NeRF 기반은 SfM 초기화 품질이 저하돼도 깊이 정확도가 비교적 안정적이며, 3DGS는 SfM 품질에 크게 의존해 성능이 급격히 떨어진다. 또한, 포인트 클라우드 스태킹, 레이어드 아티팩트, 렌더링‑기하학 트레이드‑오프 등 NeRF 고유의 문제점을 다중‑뷰 깊이 투표와 EM‑형식 최적화가 효과적으로 완화한다.

전반적으로 NeVStereo는 (1) NeRF의 고품질 NVS 장점, (2) 최신 스테레오 매칭의 강력한 깊이 추정 능력, (3) 다중‑뷰 기하학적 일관성을 보장하는 깊이 투표와 번들 조정, (4) 깊이‑가이드 NeRF 재학습이라는 네 가지 핵심 요소를 순환적으로 결합함으로써, 기존 방법이 각각 제공하던 ‘정확한 자세’, ‘신뢰할 수 있는 깊이’, ‘고품질 렌더링’, ‘정밀 메쉬’ 네 가지 목표를 하나의 파이프라인에서 동시에 달성한다는 점이 가장 큰 혁신이다.