플로우디렉터: 인버전 없이 정밀한 텍스트 기반 비디오 편집을 위한 흐름 제어 기술

초록

FlowDirector는 사전 학습된 확산 모델을 활용하지만, 기존 방법의 핵심 문제인 ‘인버전’ 과정을 완전히 제거한 새로운 텍스트 기반 비디오 편집 프레임워크입니다. 비디오를 데이터 공간에서 직접 변환하는 ODE(상미분 방정식) 경로를 구성하고, 세 가지 흐름 보정 전략을 통해 정확한 의미 편집, 움직임 일관성, 배경 보존을 동시에 달성합니다.

상세 분석

FlowDirector의 기술적 혁신은 ‘인버전-프리’ 패러다임을 비디오 편집에 성공적으로 적용한 데 있습니다. 기존 인버전 기반 방법(예: FateZero, TokenFlow)은 비디오를 잠재 공간의 노이즈로 변환한 후 다시 복원하며 편집하는 두 단계 과정을 사용합니다. 이때 발생하는 작은 인버전 오류가 프레임마다 누적되어 최종 결과물의 외관 충실도와 시간적 일관성을 심각하게 훼손하는 근본적인 한계가 있었습니다.

FlowDirector는 이러한 문제를 근본적으로 해결하기 위해 ‘직접 편집 경로’를 설계합니다. 구체적으로, Rectified Flow 개념을 확장하여 소스 비디오 상태(Z_src_t)와 목표 비디오 상태(Z_tar_t)를 각 시간 단계(t)에서 선형 보간으로 구성합니다. 이 두 상태 간의 속도 필드 차이(V_edit = V_tar - V_src)를 ‘편집 흐름’으로 정의하고, 이 흐름이 이끄는 ODE를 따라 소스 비디오를 목표 비디오로 직접 변환합니다. 이는 복잡하고 오류가 발생하기 쉬운 인버전 단계를 완전히 우회합니다.

이 기본 골격 위에 도입된 세 가지 보정 전략이 성능을 결정합니다.

1. 방향 인지 흐름 보정(DA-FC): 원본 내용에 대한 ‘의미적 중력’을 극복하기 위한 전략입니다. 편집 흐름(V_edit)을 소스 방향(V_src)과 평행한 성분(V_∥)과 수직인 성분(V_⊥)으로 분해합니다. 소스 내용을 유지하려는 보수적 성분(평행, 내적>=0)은 제거하고, 소스를 변화시키려는 적극적 성분(반평행, 내적<0)은 증폭합니다. 이를 통해 구조와 질감의 대대적인 변화를 가능하게 합니다.
2. 움직임-외관 분리 흐름 보정(MAD-FC): 급격한 외관 변화와 정확한 움직임 보존이라는 상충되는 목표를 해결합니다. ‘순수 움직임’ 특징을 외관 정보와 수학적으로 분리하여, 에너지 함수를 통해 움직임 일관성 위반만을 처벌합니다. 따라서 원하는 의미 변화는 방해받지 않으면서도 시간적 표류를 지속적으로 수정할 수 있습니다.
3. 차등 평균 가이던스(DAG): 고차원 비디오 데이터에서 샘플링 노이즈로 인한 불안정성(깜빡임)을 저비용으로 해결합니다. 고품질 합의 추정치(예: 여러 샘플 평균)와 고분산 이상치(예: 단일 샘플)를 대조하여 ‘노이즈 드리프트’ 신호를 추출합니다. 이를 통해 편집 궤적이 안정적인 저분산 다양체에 고정되도록 능동적으로 조정합니다.

이러한 접근법은 비디오 편집의 본질적 난제인 ‘시간적 일관성’과 ‘정확한 지시문 준수’ 사이의 트레이드오프를 최소화하는 새로운 패러다임을 제시합니다.