다중 레벨 시간 압축 VAE로 영상 생성 효율 극대화

초록

본 논문은 기존 고정 압축률을 갖는 VAE를 최소한의 파인튜닝만으로 다중 레벨 시간 압축을 지원하도록 변환하는 MTC‑VAE 기법을 제안한다. 영상 세그먼트의 움직임 복잡도에 따라 4×, 8×, 16× 등 가변적인 시간 샘플링 레이어를 적용하고, 키프레임 예측기와 흐름‑가이드 손실을 도입해 재구성 품질을 유지한다. 또한 DiT 기반 확산 모델과의 연동 실험을 통해 압축률을 최대 92 %까지 높이면서 PSNR/SSIM 손실을 최소화함을 입증한다.

상세 분석

MTC‑VAE는 기존 3D‑VAE 구조에 “시간 샘플링 레이어”를 선택적으로 삽입·제거함으로써 세그먼트별 압축률을 동적으로 조정한다. 압축률 결정은 영상 세그먼트의 평균 PSNR과 표준편차를 이용한 스코어 함수 (식 1)로 수행되며, 높은 평균 품질·낮은 변동성을 보이는 구간에 높은 압축률(16×)을, 복잡하고 빠른 움직임을 가진 구간에는 낮은 압축률(4×)을 할당한다. 이때 α 값은 품질‑압축 트레이드오프를 조절하는 가중치 w와 함께 사용되어, 압축률 선택이 전역 최적화를 목표로 한다.

키프레임 예측기 P는 결합된 잠재 시퀀스 Z 에서 각 세그먼트의 첫 프레임을 이진 분류 방식으로 식별한다. 기존의 전역적인 압축률 복원 방식보다 파라미터 소모가 적고, 디퓨전 트랜스포머가 학습한 연속 잠재 비디오를 정확히 원래 시간 해상도로 복원할 수 있다. 또한 흐름‑가이드 손실 L_flow는 광학 흐름 Δf 를 이용해 재구성 영상의 움직임 일관성을 강화하고, L_quality와 L_motion을 각각 L1‑norm으로 정규화한다.

학습은 두 단계로 진행된다. 1단계에서는 기존 VAE에 새로운 샘플링 레이어를 삽입하고, 재구성·KL·대립 손실을 10k 스텝 동안 미세조정한다. 2단계에서는 키프레임 임베딩 f_c 와 예측기 P를 학습하며, BCE 손실과 흐름‑가이드 손실을 추가한다. EMA (β=0.999)를 적용해 안정성을 확보한다.

실험에서는 WebVid‑10M과 Panda‑70M 데이터셋을 사용해 압축률(VCPR), PSNR, SSIM, LPIPS를 측정하였다. MTC‑VAE는 기존 CogVideoVAE와 비교해 92 % 높은 압축률을 달성하면서 PSNR 0.03 dB, SSIM 0.0027 수준의 미세한 품질 저하만을 보였다. 또한 DiT와 결합한 경우, 동일한 하드웨어에서 더 긴 영상(예: 1분 1080p) 생성이 가능하거나, 동일 길이 영상의 연산량을 45 %~68 % 절감했다.

핵심 기여는 (1) 고정 압축률 VAE를 다중 레벨 시간 압축으로 전환하는 간단하고 효율적인 파인튜닝 방법, (2) 세그먼트 복잡도 기반 압축률 선택을 정량화한 스코어 함수, (3) 키프레임 예측기를 통한 정확한 복원 메커니즘, (4) 흐름‑가이드 손실을 통한 품질·운동 일관성 강화, (5) 확산 기반 생성 모델과의 원활한 통합이다. 이러한 설계는 영상 생성 파이프라인에서 메모리·연산 효율을 크게 개선하면서도 재구성 품질을 유지하는 실용적인 솔루션을 제공한다.