인과 강제 고품질 실시간 인터랙티브 비디오 생성 위한 자동회귀 확산 증류

초록

본 논문은 기존의 양방향 비디오 확산 모델을 몇 단계의 자동회귀(AR) 학생 모델로 증류할 때 발생하는 “구조적 격차”와 “프레임 수준 주입성” 위반 문제를 이론적으로 분석한다. 저자는 AR 교사를 이용해 ODE 초기화를 수행하는 인과 강제(Causal Forcing) 방식을 제안하고, 이를 통해 프레임‑레벨 주입성을 보장함으로써 흐름 맵을 정확히 학습한다. 실험 결과, 제안 방법은 동적 정도, 시각적 품질, 명령 수행 능력 등 모든 평가 지표에서 기존 최첨단 Self‑Forcing보다 크게 앞선다.

상세 분석

논문은 먼저 자동회귀 비디오 확산 모델이 실시간 인터랙티브 응용에 적합하지만, 다단계 확산 샘플링의 높은 연산 비용이 병목임을 지적한다. 이를 해결하기 위해 기존 연구들은 사전 학습된 양방향 비디오 확산 모델을 몇 단계의 AR 학생 모델로 증류하는 두 단계 파이프라인(ODE 초기화 + DMD 미세조정)을 사용한다. 그러나 이 과정에서 “구조적 격차”(양방향 모델은 미래 프레임을 참조하지만 AR 모델은 과거만 사용)와 “프레임‑레벨 주입성”(각 노이즈 프레임이 유일한 클린 프레임에 매핑돼야 함)이라는 두 핵심 제약을 무시한다.

특히 ODE 증류는 교사의 확산 PF‑ODE 흐름을 학생이 회귀 학습하도록 하는데, 이때 입력‑출력 쌍이 일대일 대응이어야 한다(주입성). 양방향 교사를 그대로 사용하면 동일한 노이즈 프레임이 여러 가능한 클린 프레임에 대응하게 되며, 이는 조건부 평균(blurred) 해를 초래한다. 저자는 이를 “프레임‑레벨 비주입성”이라고 명명하고, 증류 과정이 근본적으로 잘못되었다고 논증한다.

해결책으로 제안된 인과 강제는 먼저 AR 교사를 자체적으로 학습한다. AR 교사는 교사 강제(teacher forcing) 방식을 사용해 과거 클린 프레임만을 입력으로 하여 각 프레임의 PF‑ODE 흐름이 자연스럽게 주입성을 만족한다. 이후 이 AR 교사의 PF‑ODE 궤적을 샘플링해 학생에게 ODE 초기화 데이터를 제공한다. 이렇게 하면 각 노이즈 프레임이 고유한 클린 프레임에 매핑되므로 학생이 정확한 흐름 맵을 복원할 수 있다.

그 다음 단계인 DMD는 기존 Self‑Forcing과 동일하게 수행되지만, 이제 구조적 격차가 이미 ODE 초기화 단계에서 해소되었기 때문에 DMD는 단순히 샘플링 단계 수를 줄이는 역할만 수행한다. 실험에서는 다양한 최신 AR 및 양방향 베이스라인(예: CausVid, Self‑Forcing, Standard DMD 등)과 비교했을 때, 동적 정도(Dynamic Degree)에서 19.3 %·시각적 보상(VisionReward)에서 8.7 %·명령 수행(Instruct‑Following)에서 16.7 %의 절대적 향상을 기록한다. 또한 동일한 추론 지연 시간(Latency) 하에서 블러 현상이 현저히 감소하고, 프레임 간 일관성이 크게 개선되었다.

이론적 분석과 실험적 검증을 통해 논문은 “프레임‑레벨 주입성”이 AR ODE 증류의 필수 조건임을 명확히 하고, 인과 강제가 이를 만족시키는 실용적인 방법임을 입증한다.