3D 가우시안 스플래팅의 밀도 기반 구조와 예측 한계

초록

본 논문은 다중뷰 최적화로 수렴된 3D Gaussian Splatting(3DGS) 결과를 Rendering‑Optimal Reference(ROR)라 명명하고, 그 파라미터들의 통계적 규칙성과 밀도에 따른 학습 가능성을 체계적으로 분석한다. 밀도가 높은 영역에서는 기하학적 정보와 파라미터가 강하게 연관되어 피드‑포워드 예측이 가능하지만, 희소 영역에서는 가시성 변동에 의해 기하‑외관 파라미터가 강하게 결합되어 예측이 근본적으로 제한됨을 밝혀낸다. 또한 가시성‑기반 변동성 분석을 통해 희소 영역의 불안정성을 이론적으로 설명하고, 밀도‑인식 전략이 학습 안정성을 개선한다는 실험적 증거를 제시한다.

상세 분석

본 연구는 3D Gaussian Splatting(3DGS)의 최종 파라미터 집합을 Rendering‑Optimal Reference(ROR)라 정의하고, ROR이 어떻게 구조화되는지를 세 단계로 파고든다. 첫 번째 단계는 15개 이상의 장면에 걸친 통계 분석으로, Gaussian의 스케일 행렬 고유값이 단일 정규분포가 아니라 다중 피크를 가진 구조화된 분포를 보이며, 방사 강도는 가시성에 따라 두 개의 뚜렷한 모드(높은 강도와 낮은 강도)로 나뉜다. 이는 최적화 과정에서 곱셈적 노이즈와 정규화 항이 결합해 평균 복귀 현상을 일으키는 기존 이론과 일치한다.

두 번째 단계는 “학습 가능성 탐사”(learnability probe)이다. 저자들은 고용량 트랜스포머와 Point‑Voxel CNN을 이용해, 렌더링 supervision 없이 입력 포인트 클라우드만으로 ROR 파라미터를 재구성하도록 학습시켰다. 실험 결과는 지역 밀도에 따라 명확히 구분되는 두 가지 행동 양상을 보여준다. 밀도가 높은 영역(상위 1/3)에서는 기하학적 구조와 파라미터가 강하게 상관관계에 있어, 예측 오차가 초기 MSE 44.96에서 9.12로 80% 이상 감소한다. 중간 밀도 영역에서도 비슷한 개선이 관찰된다. 반면, 밀도가 낮은 영역(하위 1/3)에서는 가시성 변동이 심해 동일한 모델이라도 최종 MSE가 11.07에 머무르며, 개선 폭이 33%에 불과하다. 이는 모델 용량이 아니라 입력 정보 자체가 부족함을 의미한다.

세 번째 단계는 가시성‑연결된 변동성(visibility‑coupled variance) 이론이다. 저자들은 각 Gaussian을 기하 파라미터 Σ와 외관 파라미터 S로 단순화하고, 렌더링 손실 L_app = E