고해상도 비디오 생성을 위한 플래시비디오 효율적인 두 단계 프레임워크

초록

플래시비디오는 텍스트‑투‑비디오 생성에서 저해상도 단계에 대규모 DiT 모델을 사용해 프롬프트 일치를 확보하고, 고해상도 단계에서는 흐름 매칭을 통해 거의 직선형 ODE 경로를 따라 4번의 함수 평가만으로 세밀한 디테일을 복원한다. 두 단계의 모델 용량과 샘플링 스텝을 최적 배분함으로써 1080p 비디오를 기존 방법 대비 5배~20배 빠르게 생성하면서도 품질을 크게 향상시킨다.

상세 분석

플래시비디오의 핵심 아이디어는 “프롬프트 충실도와 시각적 디테일을 별개의 목표로 분리하고, 각각에 최적화된 모델·해상도·샘플링 전략을 적용한다”는 점이다. 첫 번째 단계에서는 5 B 파라미터를 갖는 DiT(CogVideoX‑5B)를 270p 해상도로 다운샘플링하고, LoRA 기반 파라미터 효율적 파인튜닝(PEFT)으로 작은 배치에서도 안정적인 학습을 달성한다. 이 단계는 50 NFE(함수 평가)로 텍스트와 동작을 높은 수준으로 정렬시키며, 30 초 내에 저해상도 영상을 생성한다. 두 번째 단계는 2 B 파라미터 DiT(CogVideoX‑2B)를 사용하지만, 3D RoPE 위치 임베딩을 도입해 시공간적 거리 정보를 효율적으로 인코딩한다. 여기서 가장 혁신적인 부분은 “흐름 매칭(flow matching)”을 이용해 저해상도 잠재 표현 Z_LR을 고해상도 잠재 Z_HR로 직접 매핑한다는 점이다. 기존 캐스케이드 방식이 고해상도 단계에서 가우시안 노이즈부터 시작해 30~50 NFE를 필요로 하는 반면, 플래시비디오는 Z_LR과 Z_HR 사이의 차이를 t‑독립적인 목표(T_target = Z_HR − Z_LR)로 정의하고, 선형 보간을 통해 중간 점 Z_t을 생성한다. 이때 ODE 경로가 거의 직선이 되므로 Euler 솔버를 4 스텝만 사용해도 충분히 정확한 고해상도 영상을 복원한다.

학습 단계에서 Z_LR은 단순 픽셀 리사이징·블러링이 아니라, 잠재 공간에 노이즈를 주입하는 “latent degradation”을 병행한다. 이는 고해상도 비디오의 미세 구조를 완전히 소멸시켜 두 번째 단계 모델이 실제로 세밀한 디테일을 재생성하도록 강제한다. 또한, 3D 전체 어텐션을 유지함으로써 시간 축의 일관성을 보존하고, 고해상도에서 발생할 수 있는 프레임 간 복제(cheating) 현상을 방지한다.

실험 결과, VBench‑Long에서 83.29점이라는 최고 수준의 점수를 기록했으며, 1080p 비디오당 평균 102.3 초(4 NFE)만 소요한다. 이는 동일 조건의 단일 단계 DiT가 2150 초, 기존 캐스케이드가 571.5 초를 요구하는 것과 비교해 20배·5배 정도의 속도 향상을 의미한다. 또한, 두 단계 구조 덕분에 사용자는 첫 단계 결과를 미리 확인하고 프롬프트를 수정할 수 있어, 불필요한 고해상도 연산을 회피하고 상업적 서비스에서 대기 시간을 크게 줄일 수 있다.

요약하면, 플래시비디오는 (1) 모델 용량과 해상도를 단계별로 최적화, (2) 흐름 매칭 기반 직선 ODE 경로 설계, (3) 정교한 잠재·픽셀 디그레이데이션을 통한 고해상도 디테일 복원이라는 세 가지 기술적 혁신을 결합해, 고품질 고해상도 텍스트‑투‑비디오 생성의 효율성을 크게 끌어올렸다.