자율회귀 비디오 오토인코더 ARVAE: 시간·공간 분리 압축 혁신

초록

ARVAE는 이전 프레임을 조건으로 현재 프레임을 압축·복원하는 자율회귀 구조를 도입한다. 시간 흐름을 나타내는 다운샘플드 흐름장과 새롭게 등장한 내용만을 담는 공간 보완을 별도 라티스에 인코딩해, 정보 손실 없이 고압축률을 달성한다. 다단계 학습으로 장기 의존성을 안정적으로 학습하며, 경량 모델·소량 데이터에도 기존 비디오 AE보다 뛰어난 재구성 품질을 보인다.

상세 분석

ARVAE의 핵심 아이디어는 “프레임‑대‑프레임” 자율회귀 압축이다. 기존 비디오 AE가 3D‑컨볼루션이나 시공간 어텐션으로 전체 클립을 한 번에 처리하면서 시간·공간 정보를 뒤섞는 데 반해, ARVAE는 매 시점 t‑1의 복원된 프레임 ˆX_{t‑1}을 명시적 조건으로 사용한다. 이를 통해 두 프레임 사이의 고도 상관관계를 직접 활용할 수 있다.

시간적 요소는 다운샘플된 광류장(M)으로 표현된다. Motion estimator로 SpyNet을 채택해 고해상도 M∈ℝ^{2×H×W}를 추정한 뒤, Temporal Encoder가 다중 스케일 피라미드로 압축한다. N개의 다운샘플 블록을 연속 적용해 최종 압축 비율 r=2^N을 달성하고, 가장 저해상도 단계의 특징을 Temporal Motion T∈ℝ^{C1×H/r×W/r}로 저장한다. 동시에, 이전 프레임의 이미지 피처와 M을 결합해 다중 스케일 “propagated features” P_e를 생성한다.

공간적 보완은 Temporal Encoder가 전달한 P_e와 현재 원본 X_t를 입력으로 하는 Spatial Encoder에서 수행된다. 고해상도 단계에서 X_t와 P_e를 concat 후 Residual Block을 통과시켜 차분 정보를 추출하고, 이를 단계별 다운샘플링해 최종 Spatial Supplement S∈ℝ^{C2×H/r×W/r}로 압축한다. S는 흐름에 의해 전달되지 못한 신규 객체, 텍스처 변화 등을 담는다.

디코더는 두 파이프라인을 역방향으로 재구성한다. Temporal Decoder는 압축된 T를 업샘플링해 다중 스케일 흐름을 복원하고, 이를 이용해 ˆX_{t‑1}을 워핑해 P_d를 만든다. Spatial Decoder는 S를 단계별 업샘플링·Residual Block 융합으로 복원된 P_d와 결합해 최종 프레임 X̂_t를 생성한다. 첫 프레임은 기존 이미지 AE(예: FLUX)로 처리한다.

학습은 “멀티‑스테이지” 전략을 채택한다. 초기 단계에서는 짧은 시퀀스(예: 2~4프레임)와 작은 움직임 범위만 제공해 안정적인 흐름 추정과 보완 학습을 유도한다. 이후 단계마다 시퀀스 길이와 움직임 강도를 점진적으로 확대해 장기 의존성을 학습한다. 손실 함수는 재구성 L1/L2 손실에 플로우 정규화와 라티스 엔트로피 압축 손실을 가중합한다.

실험 결과는 두 가지 관점에서 눈에 띈다. 첫째, Shannon 엔트로피 분석에서 제안된 Temporal‑Spatial 분리 표현은 원본 프레임 대비 약 50%의 엔트로피 감소를 보이며, 기존 저·고주파 분리 방식보다 효율적이다. 둘째, 동일한 재구성 품질(Peak‑Signal‑to‑Noise Ratio, SSIM) 기준에서 ARVAE는 파라미터 80배 감소, 학습 샘플 6,700배 감소에도 기존 3D‑Conv 기반 비디오 AE를 능가한다. 특히 경량 모델(≈10M 파라미터)로도 30~35dB PSNR을 달성한다.

다운스트림 비디오 생성 실험에서는 ARVAE가 제공하는 라티스가 Latent Video Diffusion Model(LVDM)과 결합될 때, 텍스처 보존과 움직임 연속성에서 현존 최고 수준을 기록한다. 이는 “시간‑조건부 라티스”가 생성 모델에 풍부한 컨텍스트를 제공함을 의미한다.

전체적으로 ARVAE는 (1) 시간 흐름을 명시적으로 모델링해 압축 효율을 극대화, (2) 공간 보완을 별도 라티스로 분리해 정보 손실을 최소화, (3) 멀티‑스테이지 학습으로 장기 의존성을 안정적으로 습득, (4) 경량·소량 데이터 환경에서도 경쟁력 있는 재구성·생성 성능을 입증한다는 점에서 비디오 압축·생성 분야에 새로운 패러다임을 제시한다.