SharpTimeGS 수명 조절을 통한 날카롭고 안정적인 동적 가우시안 스플래팅

초록

SharpTimeGS는 가우시안 프리미티브에 학습 가능한 “수명(lifespan)” 파라미터를 도입해, 정적 영역은 평탄한 투명도와 거의 움직임이 없도록 유지하고, 동적 영역은 짧은 수명과 큰 속도로 자유롭게 움직이게 한다. 수명 기반 평탄‑탑 가시성 함수와 모션 스케일링을 통해 장시간 정적 포인트의 드리프트를 방지하고, 동적 포인트는 풍부한 표현력을 유지한다. 또한, 수명‑속도 인식 밀도 증가 전략으로 동적 영역에 더 많은 가우시안을 할당해 최적화 불균형을 완화한다. 실험 결과 4K·100FPS 실시간 렌더링과 여러 벤치마크에서 최첨단 성능을 달성한다.

상세 분석

SharpTimeGS는 기존 동적 3D Gaussian Splatting이 시간 가시성을 가우시안 형태의 부드러운 감소 곡선으로 모델링해, 장시간 존재하는 정적 프리미티브가 점진적으로 사라지는 문제를 해결한다. 저자들은 “수명(lifespan)”이라는 새로운 학습 파라미터 σ_t와 반경 r을 도입해, 가시성 함수를 평탄‑탑 형태로 재정의한다. 즉, |t‑T| ≤ r 구간에서는 완전한 불투명도를 유지하고, 그 외에서는 급격히 0으로 떨어진다. 이 설계는 정적 포인트가 전체 수명 동안 일정한 투명도를 유지하게 하여 불필요한 중복 프리미티브 삽입을 방지한다.

모션 측면에서는 기존 방법이 속도 v를 그대로 적용해 정적 포인트도 미세한 잔여 속도로 인해 장시간에 걸쳐 드리프트가 발생하는데, SharpTimeGS는 f(σ_t, r) = max(1.0, ((σ_t + r)/2)^2) 형태의 스케일링 함수를 도입한다. 수명이 길고 r이 큰 정적 프리미티브는 f가 크게 되어 v/f ≈ 0이 되므로 실질적인 움직임이 사라진다. 반대로 짧은 수명과 작은 r을 가진 동적 프리미티브는 f가 작아 큰 변위를 허용한다. 이렇게 수명‑모션을 결합함으로써 “정적 안정성 vs 동적 표현력”을 하나의 연속식 안에서 자연스럽게 조절한다.

또한, 초기화 단계에서 동적/정적 포인트를 구분해 동적 프리미티브에 짧은 수명과 초기 속도를, 정적 프리미티브에 긴 수명과 거의 0 속도를 부여한다. 이는 최적화 초기 단계부터 파라미터 공간을 크게 제한해 수렴 속도를 높인다.

밀도 증가(densification) 전략도 혁신적이다. 두 단계 학습을 채택해 첫 번째 단계에서는 기존 AbsGS 방식으로 이미지 그라디언트 기반 밀도를 늘리고, 두 번째 단계에서는 수명‑속도 점수 s = λ_e E + λ_o O + λ_l (1−exp(−‖v‖ + 1 / f))를 이용해 빠르게 움직이는 짧은 수명의 프리미티브를 우선 복제하고, 불필요한 정적 프리미티브는 제거한다. 이로써 동적 영역에 더 많은 표현 용량을 할당하면서 전체 모델은 여전히 경량화된다.

실험에서는 Neural3D V, ENeRF‑Outdoor, SelfCap 등 3가지 대규모 동적 데이터셋에서 PSNR, SSIM, LPIPS 모두 기존 최첨단 방법(FreeTimeGS, 4DRotorGS 등)을 앞섰으며, RTX 4090 한 대에서 4K 해상도 100 FPS 실시간 렌더링을 달성했다.

한계점으로는 수명 파라미터가 완전히 학습되기 위해 충분한 시간적 샘플링이 필요하고, 급격한 토폴로지 변화(예: 물체가 갑자기 사라지는 경우)에서 평탄‑탑 가시성이 과도하게 경계 효과를 만들 수 있다는 점을 언급한다. 향후 연구에서는 수명 초기값을 더 정교히 추정하거나, 비선형 모션 모델과 결합해 복합적인 변형을 다루는 방안을 제시한다.