멀티모달 라디오 주파수 기반 3D 가우시안 스플래팅으로 구현하는 고품질 장면 렌더링

초록

본 논문은 자동차 레이더와 같은 RF 센서를 활용해 희소 깊이 측정을 얻고, 이를 지역화된 가우시안 프로세스로 보강하여 고품질 3D 포인트 클라우드를 생성한다. 생성된 포인트 클라우드를 초기화 단계에 사용함으로써 기존 비전‑전용 가우시안 스플래팅 파이프라인보다 적은 이미지와 낮은 연산 비용으로 견고한 장면 렌더링을 달성한다.

상세 분석

이 연구는 3D Gaussian Splatting(GS)의 핵심 병목인 “포인트 클라우드 초기화”를 RF 기반 깊이 측정으로 대체한다는 점에서 혁신적이다. 기존 GS는 다수의 카메라 뷰를 필요로 하며, 악천후·저조도·부분 차폐 상황에서 성능이 급격히 저하된다. 반면 레이더는 전파 특성상 날씨·조명·가시성에 강인해, 희소하지만 전역적인 깊이 정보를 제공한다. 논문은 이러한 희소 데이터를 전통적인 전역 가우시안 프로세스(GP) 대신 지역화된 GP(Local GP)로 처리한다. 공간을 비중첩 영역으로 분할하고 각 영역마다 독립적인 GP를 학습함으로써, (1) 계산 복잡도를 O(T³) → O(∑ₖTₖ³) 로 크게 낮추고, (2) 먼 거리 측정의 무관성을 자연스럽게 배제해 예측 정확도와 불확실성 추정의 품질을 향상시킨다. 또한 RBF 커널의 길이 스케일을 영역별 최대우도 추정으로 최적화해, 레이더의 비균일 샘플링 특성을 효과적으로 보정한다.

생성된 깊이 맵은 3D 포인트 클라우드로 변환돼 GS의 Gaussian 원시 위치와 초기 공분산을 정의한다. 이후 기존 GS 파이프라인과 동일하게 색상 및 뷰 의존성 파라미터를 최적화한다. 실험에서는 View-of-Delft 데이터셋을 사용해, 단일 레이더 전송(≈수백 개의 깊이 포인트)만으로도 전통적인 COLMAP 기반 SfM보다 빠르게 고품질 PC를 얻었으며, 최종 렌더링 PSNR·SSIM이 비전‑전용 GS와 비교해 1~2dB 수준 향상되었다. 특히 악조건 시뮬레이션에서 레이더 기반 초기화는 이미지 부족으로 인한 왜곡을 크게 감소시켰다.

한계점으로는 레이더의 해상도와 측정 노이즈가 여전히 깊이 정확도에 영향을 미치며, 영역 분할 기준이 사전 정의돼 복잡한 장면에서는 최적 분할이 어려울 수 있다. 또한 현재는 RF와 비전을 단순히 초기화 단계에만 결합했으나, 공동 최적화나 라이다와의 다중 센서 융합을 통해 더 큰 시너지 효과를 기대한다.