초고압축 잠재공간을 활용한 초고속 비디오 디퓨전 모델 FSVideo

초록

FSVideo는 64 × 64 × 4 비율로 공간‑시간을 압축한 비디오 자동인코더와 14 B 규모의 디퓨전 트랜스포머(기본·업샘플러)로 구성된 이미지‑투‑비디오 프레임워크이다. 레이어 메모리 메커니즘과 다중 해상도 업샘플링을 도입해 기존 오픈소스 모델 대비 10배 이상 빠른 추론 속도와 경쟁력 있는 화질을 달성한다.

상세 분석

FSVideo의 핵심은 세 가지 혁신적인 설계에 있다. 첫째, 영상 자동인코더(FSAE)는 64 × 64 × 4(공간 × 공간 × 시간) 압축률을 달성하면서도 128 차원의 채널을 유지한다. 이를 위해 기존 DC‑AE 구조에 3D 인과(convolution) 블록을 추가하고, 다운샘플/업샘플 연산에 시간 차원을 포함시켜 4배의 시간 압축을 구현한다. 다단계 학습(256²→512²→1024², 프레임 수 17→61→121)과 L1·LPIPS·GAN 손실을 결합해 재구성 품질을 확보한다. 또한 Video‑VF 손실을 도입해 Dinov2 기반 프레임 특징과 잠재 공간을 정렬함으로써 잠재 공간의 내재 차원을 크게 낮추었다(표 1). 이는 생성 단계에서 더 간결하고 의미론적으로 일관된 표현을 제공한다는 의미다.

둘째, 디퓨전 트랜스포머(DIT) 설계에 ‘레이어 메모리’ 메커니즘을 삽입했다. 기존 트랜스포머는 각 레이어가 독립적으로 입력을 처리하지만, 레이어 메모리는 이전 레이어의 컨텍스트를 직접 재활용하도록 설계돼 정보 흐름을 강화한다. 메모리 슬롯은 가벼운 선형 변환으로 구현돼 연산량과 메모리 오버헤드가 거의 없으며, 특히 14 B 규모 모델에서 모델 용량을 효율적으로 활용해 샘플 품질을 향상시킨다.

셋째, 다중 해상도 생성 전략이다. 기본 DIT는 압축된 잠재 공간에서 저해상도 비디오를 생성하고, 이후 ‘업샘플러 DIT’가 몇 단계(4~8 step)만 수행해 고해상도(720p 이상)로 복원한다. 업샘플러는 CNN 기반 잠재 업스케일러와 DIT 리파이너로 구성되며, 리파이너는 단계 디스틸레이션(step‑distillation) 기법을 적용해 추가 연산을 최소화한다. 결과적으로 FSVideo는 Wan2.1‑14B‑720P 대비 42.3배 빠른 추론 속도를 보이며, 동일 파라미터 규모의 다른 오픈소스 모델과 비교해 PSNR/SSIM/CLIP‑Score 등에서 경쟁력을 유지한다.

훈련 효율성 측면에서도 주목할 만하다. 고압축 잠재 공간 덕분에 한 번의 포워드 패스에서 처리해야 할 토큰 수가 크게 감소하고, 시간‑분할, 3D 패치 트레이닝, LPIPS 계산 시 시간 슬라이싱 등 메모리 절감 기법을 병행해 1024² × 121 프레임 규모의 데이터도 8 GPU(80 GB) 내에서 학습이 가능했다.

한계점으로는 현재 I2V(이미지‑투‑비디오) 설정에 최적화돼 텍스트‑투‑비디오 전용 파이프라인에 바로 적용하기는 어렵다는 점이다. 또한 4배 시간 압축이 장기 시퀀스(>200 프레임)에서 움직임 일관성을 저해할 가능성이 있다. 향후 연구에서는 가변 압축 비율, 텍스트 조건부 디퓨전, 그리고 프레임‑간 흐름을 보강하는 추가 모듈(예: 흐름‑기반 정규화) 등을 탐색할 여지가 있다.

종합하면, FSVideo는 고압축 잠재 공간과 레이어 메모리, 다중 해상도 디퓨전 전략을 결합해 비디오 생성의 속도‑품질 트레이드오프를 크게 개선한 모델이며, 실시간 혹은 저비용 클라우드 서비스에 적용하기에 충분한 기술적 기반을 제공한다.