가우시안POP 오류 정량화를 통한 압축 3D 가우시안 스플래팅 간소화 프레임워크

초록

GaussianPOP은 3D Gaussian Splatting(3DGS) 모델을 시각적 오류에 직접 기반한 정량적 기준으로 간소화한다. 3DGS 렌더링 방정식에서 파생된 오류식 ΔSEₖ =‖Tₖαₖ(cₖ−bₖ₊₁)‖²를 이용해 단일 전방 패스만으로 모든 가우시안의 기여 오류를 계산하고, 낮은 오류를 가진 가우시안을 제거한다. 온‑트레이닝·포스트‑트레이닝 두 시나리오 모두에서 기존 중요도 기반 방법보다 높은 PSNR·SSIM·LPIPS 성능을 달성한다.

상세 분석

본 논문은 3D Gaussian Splatting(3DGS)에서 수백만 개에 달하는 가우시안을 실시간으로 블렌딩해 고품질 뷰 합성을 수행하지만, 메모리·연산 비용이 크게 늘어나는 문제를 지적한다. 기존 간소화 기법은 투명도, 블렌딩 가중치, 그래디언트 민감도 등 ‘중요도 점수’를 사용해 가우시안을 제거했으며, 이러한 점수는 시각적 오류와 직접적인 상관관계가 없기 때문에 과도한 품질 저하를 초래한다. GaussianPOP은 이러한 한계를 극복하기 위해 3DGS 렌더링 방정식에서 정확히 파생된 오류 기준을 제시한다.

렌더링 과정은 앞‑뒤 순서대로 α‑블렌딩을 수행하는데, k번째 가우시안이 차지하는 색상 기여는 Tₖαₖcₖ이며, 그 뒤 배경은 Tₖ(1−αₖ)bₖ₊₁ 로 감쇄된다. k를 제거하면 배경이 직접 블렌딩되므로, 두 경우의 색 차이는 Tₖαₖ(cₖ−bₖ₊₁) 로 표현된다. 이를 제곱해 픽셀당 오류 ΔSEₖ를 정의하면, 각 가우시안의 시각적 영향력을 정확히 정량화할 수 있다.

알고리즘 1은 ‘렌더‑한 번, 로컬 계산’ 전략을 채택한다. 첫 단계에서 표준 전방 렌더링을 수행해 각 픽셀에 기여하는 가우시안 리스트 H와 최종 색 C_render 를 얻는다. 두 번째 단계에서는 누적 색 Pₖ와 누적 투과율 Tₖ를 전방 누적 합(prefix sum) 방식으로 한 번에 계산한다. 마지막 단계에서는 저장된 Pₖ, Tₖ, C_render 를 이용해 bₖ₊₁ = (C_render−Pₖ)/(Tₖ₊₁+ε) 를 구하고, ΔSEₖ = ‖(Tₖαₖ)·(cₖ−bₖ₊₁)‖² 를 즉시 산출한다. 이 과정은 가우시안마다 독립적이므로 GPU에서 완전 병렬화가 가능하고, 전체 장면에 대해 M×V 번의 재렌더링이 필요했던 기존 방식 대비 수천 배 이상의 속도 향상을 제공한다.

GaussianPOP은 두 가지 적용 흐름을 지원한다. (1) 온‑트레이닝 프루닝: 학습 초기에 정량화된 오류를 기반으로 일정 비율(예: 20 %)의 저오류 가우시안을 제거하고, 이후 남은 가우시안을 재학습해 손실을 보정한다. (2) 포스트‑트레이닝 프루닝: 사전 학습된 모델에 대해 전체 뷰에 대해 오류를 재계산하고, 반복적으로 재정량화·프루닝·미세조정을 수행한다. 후자는 오류 재계산이 정확하므로 더 높은 압축률을 달성한다.

실험에서는 Mip‑NeRF 360, Tanks & Temples 등 7개 데이터셋에 대해 GaussianPOP을 적용하였다. 온‑트레이닝 시 0.24 M 가우시안(31.29 dB PSNR)에서 0.21 M 가우시안(31.63 dB)으로 압축했으며, 포스트‑트레이닝에서는 80 % 가우시안을 제거하고 5 k 단계 미세조정 후에도 PSNR 30.77 dB(라이트가우시안)·32.05 dB(라이트가우시안) 수준을 유지했다. 표 1·2의 정량적 비교에서 기존 최첨단 방법(Mini‑Splatting, LightGaussian, MaskGaussian 등)보다 PSNR·SSIM·LPIPS 모두 우수함을 보였다. 특히 오류 분포 히스토그램(Fig. 3)은 대부분 가우시안이 ΔSE≈0에 가까워 제거해도 시각적 손실이 거의 없음을 시각화한다.

복잡도 분석에서는 알고리즘 1의 시간 복잡도가 O(N) (N은 가우시안 수)이며, 메모리 요구량도 O(N) 수준으로 기존 재렌더링 기반 방법에 비해 현저히 낮다. 한계점으로는 오류 식이 픽셀당 색 차이의 L2 norm에 기반하므로 구조적 왜곡이나 고주파 텍스처 손실을 완전히 포착하지 못할 수 있다. 또한, 매우 얇은 반투명 효과가 많은 장면에서는 α‑값이 작아 Tₖαₖ가 낮아 오류가 과소평가될 가능성이 있다. 향후 연구에서는 감각적 품질 지표와 결합한 다중 목표 최적화, 그리고 동적 씬에 대한 실시간 재정량화 기법을 탐색할 수 있다.