통합 라텐트: 확산 기반 잠재 표현 학습 혁신

초록

Unified Latents(UL)는 인코더 출력에 고정된 가우시안 노이즈를 부여하고, 이를 확산 사전 모델의 최소 노이즈 레벨과 정렬함으로써 잠재 공간을 효율적으로 정규화한다. 단일 MSE 기반 목표와 가중치 ELBO를 결합해 비트당 정보량의 상한을 제공하면서, ImageNet‑512에서 FID 1.4, PSNR 높은 복원 품질, Kinetics‑600에서 FVD 1.3을 달성한다. 훈련 FLOPs도 기존 Stable Diffusion 라텐트 대비 크게 감소한다.

상세 분석

본 논문은 VAE 기반 라텐트 학습의 두 가지 오래된 문제—KL 가중치 선택의 주관성 및 고주파 정보 손실—를 확산 모델의 특성을 활용해 근본적으로 해결한다. 핵심 아이디어는 (1) 인코더가 deterministic latent z_clean을 출력하고, 이를 사전 확산 과정에서 사전 정의된 로그‑SNR λ(0)=5에 해당하는 고정 노이즈(σ≈0.08)로 전파한다는 점이다. 이렇게 하면 KL 항이 단순히 “노이즈 레벨에 대한 가중 MSE” 형태로 축소돼, 라텐트 비트당 정보량을 명시적으로 상한한다. (2) 사전 확산 모델은 z_clean → z_0 → z_1 순으로 노이즈를 추가하며, 손실은 dλ/dt·exp(λ)·‖z_clean‑ĥz(z_t)‖² 형태의 연속적 ELBO로 정의된다. 여기서 가중치 w(λ_z)=1 로 설정해 저노이즈 단계가 과도히 억제되지 않도록 한다. (3) 디코더 역시 확산 모델이지만, 입력에 이미지 노이즈 x_t와 라텐트 z_0를 동시에 조건화한다. 디코더 손실은 sigmoid(λ_x−b) 형태의 가중 ELBO를 사용해 고주파 디테일을 강조하면서도 라텐트에 과도히 의존하지 않게 조절한다. 논문은 이 두 손실을 단순히 합산(L_z+L_x)해 공동 최적화함으로써, 라텐트가 “학습하기 쉬우면서도 정보 밀도가 높은” 중간 지점을 찾게 만든다.

또한, 2단계 학습 전략을 제시한다. 1단계에서는 인코더와 사전·디코더를 동시에 학습해 라텐트 분포를 정규화한다. 2단계에서는 인코더를 고정하고, 사전 모델을 베이스 모델(다중 단계 ViT)로 재학습한다. 이는 1단계 사전이 ELBO 가중치 때문에 저주파·고주파를 균등히 학습해 샘플 품질이 떨어지는 문제를 보완한다.

실험 결과는 설득력 있다. ImageNet‑512에서 동일한 라텐트 차원(≈4×4)으로 기존 Stable Diffusion 라텐트 대비 FLOPs를 30 % 이상 절감하면서 FID 1.4와 PSNR ≈30 dB를 달성했다. Kinetics‑600에서는 FVD 1.3이라는 새로운 SOTA를 기록했다. 또한, 라텐트 비트당 정보량(bpd) 추정치를 제공해, 모델 설계 시 “얼마나 많은 정보를 라텐트에 담을 것인가”를 명시적으로 조절할 수 있다.

이 접근법은 라텐트 설계와 확산 사전·디코더의 공동 최적화를 통해, 기존 VAE‑GAN 혼합 방식보다 이론적·실용적 장점을 동시에 제공한다는 점에서 차세대 텍스트‑투‑이미지·비디오 생성 파이프라인에 중요한 전환점이 될 것으로 보인다.