비디오 가우시안 스플래팅: VeGaS로 실시간 편집 가능

초록

VeGaS는 3차원 가우시안 스플래팅에 비선형 동적 변형을 결합한 새로운 비디오 표현 방식이다. Folded‑Gaussian 분포를 도입해 시간에 따라 비선형 궤적을 모델링하고, 각 프레임을 조건부 2D 가우시안으로 변환한다. 실험 결과, 기존 INR 및 VGR 대비 재구성 품질이 우수하고, 객체 이동·스케일링·색상 변환 등 복잡한 편집이 가능함을 보였다.

상세 분석

VeGaS 논문은 기존의 Implicit Neural Representation(INR)과 3D Gaussian Splatting(3DGS) 모델의 한계를 정확히 짚어낸다. INR은 좌표‑시간 → RGB 매핑을 통해 압축 효율과 고품질 재구성을 제공하지만, 파라미터가 신경망 가중치에 고정돼 있어 프레임 단위 편집이 거의 불가능하다. 반면 3DGS는 가우시안 집합을 직접 최적화함으로써 빠른 렌더링과 편집 가능성을 제공하지만, 기존 VGR(Video Gaussian Representation)은 가우시안을 시간축에 단순히 이동·선형 변형하는 수준에 머물러 복잡한 동작을 표현하지 못한다.

VeGaS는 이러한 문제를 ‘Folded‑Gaussian’이라는 새로운 확률분포를 도입함으로써 해결한다. 기본 아이디어는 3차원 공간‑시간 변수 x=(s,t)를 다변량 정규분포 N(m,Σ)로 시작한 뒤, 시간 t에 따라 공간 변수 s에 비선형 변환 f(t)와 스케일링 a(t)를 적용하는 것이다. 수식 (9)‑(13)에서 보듯, 변환은 선형 변환 A와 편향 b의 형태이며, A는 a(t)의 제곱근을 대각 행렬로, b는 평균 보정과 비선형 이동 f(m_t−t)를 포함한다. 결과적으로 조건부 분포 s|t는 여전히 가우시안이지만, 전체 결합분포는 비가우시안 형태가 되어 복잡한 궤적(예: 물체가 카메라에 접근·이탈)까지 자연스럽게 모델링한다.

이 Folded‑Gaussian을 3DGS 파이프라인에 삽입하면, 각 가우시안은 시간에 따라 ‘접힌’ 형태로 변형되어 프레임마다 서로 다른 2D 가우시안 집합을 생성한다. 논문은 이를 MiraGe 기반의 2D 가우시안 렌더러와 결합해, 프레임별 색상·불투명도·위치를 독립적으로 조정할 수 있게 한다. 특히, 배경과 같이 정적인 요소는 대규모(Extensive) 가우시안으로, 짧은 기간에만 나타나는 움직이는 객체는 소규모(Brief) 가우시안으로 표현해 메모리 효율성을 높인다.

실험에서는 DAVIS 데이터셋을 사용해 재구성 PSNR, SSIM, LPIPS 등 여러 지표에서 기존 VGR 및 최신 INR 기반 모델을 능가한다. 편집 실험에서는 객체 선택, 스케일 변환, 색상 곱셈 등 비선형 변환을 자유롭게 적용했을 때 시각적 품질이 크게 저하되지 않으며, 프레임 간 일관성도 유지된다. 또한, 학습 시간과 파라미터 수가 기존 3DGS 대비 크게 증가하지 않아 실시간 편집 워크플로우에 적합함을 입증한다.

핵심 기여는 세 가지로 요약된다. 첫째, 비선형 동적 변형을 포괄하는 Folded‑Gaussian 분포 정의와 그 수학적 정당성(조건부 가우시안·정규화 증명). 둘째, 이를 3DGS와 MiraGe에 자연스럽게 통합한 VeGaS 프레임워크 설계, 특히 시간‑조건부 2D 가우시안 추출 메커니즘. 셋째, 다양한 정량·정성 실험을 통해 재구성 정확도와 편집 자유도에서 현존 최고 수준을 달성했다는 실증적 증거. 이러한 접근은 앞으로 비디오 편집, 증강현실, 동적 씬 렌더링 등 실시간 영상 처리 분야에 큰 파급 효과를 기대하게 만든다.