CompSplat 실제 영상 압축 인식을 통한 3D 가우시안 스플래팅

초록

CompSplat은 장시간 실세계 비디오에서 발생하는 압축 아티팩트와 자세 추정 불안정을 완화하기 위해 프레임별 압축 정보를 활용하는 3D Gaussian Splatting 기반 신경 렌더링 프레임워크이다. 압축‑인식 가중치와 적응형 프루닝을 도입해 저품질 프레임을 억제하고 고품질 프레임에 더 많은 Gaussian을 할당함으로써, 강한 압축 환경에서도 정밀한 기하 구조와 높은 렌더링 품질을 유지한다. Tanks & Temples, Free, Hike 등 장거리 데이터셋에서 기존 최첨단 방법들을 크게 앞선 성능을 보였다.

상세 분석

CompSplat 논문은 실세계 비디오가 갖는 두 가지 핵심 난제—길고 불규칙한 카메라 궤적에 따른 포즈 드리프트와, 소비자용 코덱(JPEG, H.264, HEVC 등)에서 발생하는 압축 아티팩트—를 동시에 해결하려는 시도로 시작한다. 기존 3D Gaussian Splatting(3DGS) 기반 방법들은 고해상도, 무압축 이미지에 최적화돼 있었으며, 프레임 간 품질 차이를 고려하지 않아 압축된 영상에 적용하면 Gaussian 밀도가 과도하게 증가하거나, 저품질 프레임에서 노이즈가 축적되는 문제를 보였다.

CompSplat은 이러한 문제를 “프레임‑와이즈 압축 신뢰도(score)”라는 새로운 메트릭으로 정량화한다. 구체적으로 QP(Quantization Parameter)와 비트레이트를 선형 정규화한 뒤, λq와 λb 가중치를 적용해 qₜ = q_qₜ + q_bₜ 를 만든다. 여기서 EMA(Exponential Moving Average) 필터를 통해 시간적 안정성을 확보하고, 최종 신뢰도 ¯qₜ를 Gaussian의 스케일‑기반 프루닝 및 적응형 밀도 제어에 직접 연결한다.

스케일‑기반 프루닝은 기존의 불투명도(α) 임계값 ω를 고정값으로 두는 대신, 프레임 신뢰도에 비례해 동적으로 조정한다. 즉, 압축이 심한 프레임에서는 ω를 높게 잡아 불필요한 Gaussian이 남지 않게 하고, 품질이 좋은 프레임에서는 낮게 잡아 세밀한 디테일을 보존한다. 동시에 “Adaptive Densification” 단계에서는 Gradient magnitude gₜ가 θ를 초과할 때만 새로운 Gaussian을 추가하도록 하며, 이 θ 역시 ¯qₜ에 따라 가변한다. 결과적으로 고품질 프레임은 더 많은 Gaussian이 생성·업데이트되고, 저품질 프레임은 최소한의 업데이트만 수행해 전체 최적화 과정에서 노이즈 전파를 억제한다.

또 다른 핵심 기법인 “Quality Gap‑aware Masking”은 인접 프레임 간 PSNR 차이로 발생하는 시각적 격차를 완화한다. 프레임별 키포인트 매칭 강도와 픽셀‑레벨 차이를 기반으로 마스크를 생성하고, 이 마스크를 포토메트릭 손실에 곱해 저품질 프레임이 과도하게 학습에 영향을 미치지 않도록 한다. 이렇게 하면 포즈 추정 단계에서 PnP와 재투영 오류가 감소하고, 전체 파이프라인의 수렴 속도가 향상된다.

실험에서는 압축 수준을 QP 22, 28, 34 등으로 다양하게 조절한 뒤, 기존 NoPe‑NeRF, LocalRF, LongSplat 등과 비교했다. PSNR, SSIM, LPIPS 등 정량적 지표에서 평균 1.2 dB 이상의 향상을 보였으며, 특히 포즈 오류(RMSE)와 3D 재구성 정확도에서도 현저히 낮은 값을 기록했다. 정성적 결과에서도 저압축 프레임에서는 미세한 텍스처와 경계가 유지되고, 고압축 프레임에서는 블러가 최소화된 깔끔한 렌더링을 확인할 수 있었다.

이 논문은 3DGS에 압축 정보를 직접 통합함으로써, 실세계 비디오 스트림에 바로 적용 가능한 NVS 파이프라인을 제시한다는 점에서 큰 의의를 가진다. 향후 동적 씬, 멀티‑뷰 스트리밍, 혹은 실시간 AR/VR 시스템에 압축‑인식 최적화를 확장한다면, 네트워크 대역폭 제한이 있는 환경에서도 고품질 3D 재현이 가능할 것으로 기대된다.