강인한 전체 프레임 비디오 안정화: 3D 재구성·확산 모델 융합

초록

**
VS3R은 피드‑포워드 3D 재구성으로 카메라 파라미터·깊이·동적 마스크를 추정하고, 하이브리드 렌더링으로 기하·시맨틱 정보를 결합한 뒤, 듀얼‑스트림 비디오 확산 모델을 이용해 전체 프레임을 복원·정제한다. 이를 통해 극단적인 흔들림·블러 상황에서도 전체 화면을 유지하면서 고품질 안정화를 구현한다.

**

상세 분석

**
본 논문은 기존 2D 기반 안정화가 과도한 크롭으로 시야 손실을 초래하고, 3D 기반 방법이 SfM 의 불안정성·동적 객체 처리 한계에 봉착한다는 문제점을 정확히 짚어낸다. VS3R은 이러한 함정을 피하기 위해 두 가지 핵심 기술을 도입한다. 첫째, VGGT4D 라는 최신 피드‑포워드 4D 재구성 네트워크를 활용해 프레임 단위로 카메라 내·외부 파라미터, 깊이 맵, 그리고 의미 기반 동적 마스크를 동시에 예측한다. 슬라이딩 윈도우와 가우시안 트래젝터리 스무딩을 적용함으로써 장시간 시퀀스에서도 전역 드리프트를 억제한다. 둘째, Hybrid Stabilized Rendering (HSR) 단계에서 의미 마스크와 광학 흐름 기반 기하학적 마스크를 논리합(OR)하여 동적 영역을 정밀히 구분한다. 정적 영역은 다중 뷰 일관성을 활용해 포인트 클라우드에 집계하고, 동적 영역은 현재 프레임에 제한함으로써 비정형 움직임을 보존한다. 이렇게 구성된 복합 포인트 클라우드를 스무딩된 카메라 포즈에 투사해 초기 안정화 프레임을 생성한다.

하지만 초기 렌더링은 경계 크롭·숨겨진 영역·샘플링 노이즈 등 완전 프레임을 방해하는 결함을 내포한다. 이를 보완하기 위해 Dual‑Stream Video Diffusion Model (DVDM)을 설계하였다. 하나의 스트림은 렌더링된 프레임 시퀀스를 시간적 조건으로, 다른 스트림은 고정된 텍스트 임베딩을 의미적 앵커로 사용한다. 두 스트림을 교차 주입함으로써 시맨틱 일관성을 유지하면서도 프레임 간 정보를 효율적으로 전파한다. 결과적으로 디오클루전 영역을 자연스럽게 메우고, 노이즈를 억제하며, 전체 화면을 복원한다.

실험에서는 NUS, DeepStab 등 공개 벤치마크와 자체 수집한 극단 움직임 시나리오에서 기존 2D(예: RobustL1, DIFRINT)와 3D(예: RStab, GaVS) 방법을 능가함을 입증한다. 정량 지표(PSNR, SSIM, FOV 유지율)와 주관적 사용자 조사 모두 VS3R이 시각적 왜곡을 최소화하고, 시야 손실 없이 부드러운 영상을 제공한다는 점을 보여준다.

강점으로는 (1) SfM 의 의존성을 배제하고 완전 자동화된 피드‑포워드 재구성으로 다양한 촬영 환경에 강인함, (2) 의미·기하학적 마스크의 융합으로 동적 객체와 정적 배경을 동시에 처리, (3) 확산 모델을 통한 전체 프레임 복원으로 크롭 없는 고품질 결과를 제공한다는 점이다. 한계점은 (1) 현재는 단일 카메라와 정적인 내부 파라미터를 전제로 하며, 급격한 초점 변화나 다중 카메라 전환에 대한 평가가 부족하고, (2) 대규모 고해상도 영상에 대한 연산 비용이 아직 실시간 수준에 미치지 못한다는 점이다. 향후 연구에서는 멀티‑카메라 동기화, 경량화된 확산 아키텍처, 그리고 실시간 스트리밍 적용을 탐색할 여지가 있다.

**