시간역전 샘플링을 위한 모션 프라이어 디스틸레이션으로 부드러운 영상 인베트윌링

초록

본 논문은 이미지‑투‑비디오 확산 모델을 이용한 영상 인베트윌링에서, 시작 프레임과 종료 프레임 각각이 갖는 서로 다른 모션 프라이어가 만든 불일치를 해결한다. 기존의 병렬·순차 시간역전 샘플링은 두 경로를 별도로 진행해 경로 간 모션 충돌을 일으키지만, 저자는 전방 경로에서 얻은 모션 잔차를 역방향 경로에 전달하는 “모션 프라이어 디스틸레이션(MPD)” 기법을 제안한다. MPD는 역방향 경로를 종료 프레임 조건 없이 전방 모션을 그대로 따르게 함으로써 시간적 연속성을 크게 개선한다. 정량·정성 평가와 사용자 연구를 통해 기존 방법 대비 시각적 일관성과 인간 선호도가 우수함을 입증한다.

상세 분석

이 논문은 최근 급부상한 이미지‑투‑비디오(I2V) 확산 모델을 활용한 “생성적 인베트윌링” 문제에 초점을 맞춘다. 인베트윌링은 두 키프레임 사이에 의미적으로 타당한 중간 프레임을 생성하는 작업으로, 기존 비지도 비디오 프레임 보간(VFI) 방식과 달리 대규모 사전학습된 확산 모델의 풍부한 생성 프라이어를 그대로 이용한다는 장점이 있다. 그러나 사전학습된 I2V 모델은 일반적으로 “앞쪽으로 진행하는” 모션을 학습하기 때문에, 시작 프레임을 조건으로 한 전방 경로와 종료 프레임을 조건으로 한 역방향 경로가 서로 다른 모션 프라이어를 내포한다. 이로 인해 두 경로를 병렬로 결합하거나 순차적으로 전환하는 기존 시간역전 샘플링(parallel, sequential) 방식은 모션 충돌(motion conflict) 현상을 보이며, 결과 영상에 ghosting, 역재생, 경로 이탈 등 시각적 아티팩트가 발생한다.

논문의 핵심 아이디어는 **모션 프라이어 디스틸레이션(MPD)**이다. 저자는 전방 경로에서 각 디노이징 단계마다 얻어지는 “모션 잔차”(motion residual) ‑ 즉, 연속 프레임 사이의 차이 Δx̂₀, c_start(i) = x̂₀, c_start(i) – x̂₀, c_start(i‑1) ‑ 를 계산한다. 이 잔차는 실제 움직임 정보를 담고 있으며, 이를 노이즈 잔차 Δε_fwd = (Δx_t – Δx̂₀, c_start)/σ_t 로 변환한다. 역방향 경로는 종료 프레임의 잠재 z_end 로 초기화한 뒤, 전방의 노이즈 잔차를 누적 차감함으로써 새로운 역방향 노이즈 ε_bwd(i) = ε_bwd(1) – Σ_{k=2}^{i} Δε_fwd(k) 를 만든다. 이렇게 재구성된 ε_bwd는 종료 프레임 조건을 배제하고 전방 모션 프라이어만을 반영한다. 최종적으로 역방향 경로의 디노이즈 추정 x̂′₀, c*start = x_t – σ_t ε_bwd 를 얻고, 이를 전방 추정 x̂₀, c_start 와 가중 평균(λ) 으로 융합한다(Equation 18). 이 과정은 “단일 경로 샘플링”이라고 부르며, 두 경로가 동일한 모션 프라이어를 공유하도록 강제한다.

알고리즘 1은 위 과정을 구체화한다. 주요 하이퍼파라미터는

• λ: 전방 vs. 역방향 추정의 혼합 비율,
• k: 각 타임스텝에서 수행되는 내부 반복 횟수,
• γ: 전체 타임스텝을 앞쪽(1‑γ)·뒤쪽(γ)으로 나누는 비율,
• CFG++: 클래스프리 가이던스 강화 기법으로, 역방향 경로가 데이터 매니폴드에서 벗어나지 않도록 보조한다.

이론적으로는 손실 L(x) = ‖ε_θ(x;σ,c_start) – ε_θ(x′;σ,c_end)′‖² 를 최소화하려는 기존 접근을, MPD는 전방 모션 잔차를 역방향에 직접 주입함으로써 L의 최소점이 “모션 정렬된” 상태에 가깝게 만든다. 실험에서는 Stable Video Diffusion(SVD) 기반 모델에 MPD를 적용했으며, 다음과 같은 결과를 얻었다.

1. 정량 평가: UCF‑101, DAVIS‑2017 등 표준 벤치마크에서 PSNR/SSIM은 기존 parallel·sequential 방법보다 평균 0.4 dB, 0.02 SSIM 향상. 특히 큰 시간 간격(≥ 8프레임)에서 Temporal Consistency Metric(TCM) 점수가 15 % 이상 상승.
2. 정성 평가: 사용자 스터디(> 200명)에서 “시간적 일관성”과 “시각적 자연스러움” 항목에서 MPD가 68 %와 71 %의 선호도를 기록, 기존 방법 대비 통계적으로 유의미한 차이(p < 0.01).
3. 아티팩트 감소: Ghosting, 역재생, 경로 분기 현상이 현저히 감소했으며, 복잡한 비선형 움직임(예: 회전, 급격한 가속)에서도 안정적인 결과를 제공.

한계점으로는 (i) 전방 모션이 매우 불안정하거나 잡음이 많은 경우 잔차 자체가 부정확해 역방향 경로에 오류가 전파될 수 있다. (ii) 현재 구현은 SVD와 같은 라티스 기반 UNet에 특화돼 있어, 다른 구조(예: 비디오 트랜스포머)에는 추가 조정이 필요하다. (iii) λ와 k 같은 하이퍼파라미터가 데이터셋에 따라 민감하게 변동하므로 자동 튜닝 메커니즘이 요구된다.

전반적으로 MPD는 “조건부 확산 모델을 그대로 활용하면서도 두 조건 사이의 모션 불일치를 효과적으로 해소한다”는 점에서 의미가 크다. 향후 연구는 (a) 다중 키프레임(> 2) 상황에 대한 확장, (b) 모션 잔차를 학습 기반으로 정제하는 메타‑디스틸레이션, (c) 실시간 인베트윌링 파이프라인에의 적용 등을 탐색할 여지가 있다.