조건 오류를 최소화하는 자동회귀 이미지 생성: 확산 손실과 최적 수송 기반 정제

초록

본 논문은 확산 모델과 자동회귀 모델을 확산 손실 하에 비교 이론을 전개하고, 패치 디노이징이 조건 오류를 효과적으로 감소시켜 조건 분포를 안정화함을 증명한다. 또한 조건 오류가 자동회귀 반복을 거치며 지수적으로 소멸한다는 분석을 제시하고, 최적 수송(OT) 이론에 기반한 워셔스테인 그래디언트 흐름을 이용한 조건 정제 기법을 도입해 “조건 불일치” 문제를 해결한다. 실험 결과는 제안 방법이 기존 확산 및 자동회귀‑확산 손실 모델을 능가함을 보여준다.

상세 분석

논문은 먼저 전통적인 조건부 확산 모델이 고정된 전역 조건 c 에 의존하는 반면, 자동회귀(AR) 모델에 확산 손실을 적용하면 조건 c_i 가 이전 조건들의 함수로 동적으로 진화한다는 점을 강조한다. 이 차이는 마코프성 및 가우시안 노이즈 가정 하에서 수학적으로 정형화되며, 특히 패치 단위 디노이징 과정에서 AR 모델이 조건 c_i 를 반복적으로 업데이트함으로써 조건 오류 ε_c 가 점차 감소한다는 정리를 제시한다. 저자는 조건 오류 감소를 “조건 그래디언트 노름” f(c_i)=‖∇{x_t}log p_t(x_t|c_i)‖² 의 기대값 차이로 표현하고, Lemma 2를 통해 이 차이가 클래스‑프리 가이드에서 추가되는 σ_t²∇{x_t}log p(c|x_t) 항과 정확히 일치함을 증명한다. 즉, AR‑확산 손실은 조건 그래디언트의 크기를 점진적으로 축소시켜 조건 분포를 안정적인 고정점으로 수렴시킨다.

조건 오류가 지수적으로 소멸한다는 핵심 결과는 Proposition 1과 Lemma 3을 통해 뒷받침된다. AR 프로세스가 c_{i+1}=∑{j=0}^a_j c_j+ε{i+1} 형태의 선형 결합으로 모델링될 때, 가중치 a_j 가 절대값 1보다 작고 수렴한다는 가정 하에 c_i 시퀀스는 강한 마코프 체인을 이루며, 이때 조건 그래디언트의 노름은 ‖σ_t²∇_{x_t}log p(c|x_t)‖² 에 비례해 지수적으로 감소한다. 따라서 AR‑확산 손실은 초기 조건 오류가 존재하더라도 반복적인 패치 디노이징을 통해 오류를 급격히 억제한다.

하지만 실제 구현에서는 “조건 불일치”(condition inconsistency) 현상이 발생한다. 이는 이전 패치에서 전달된 정보가 누적되면서 조건 c_i 에 잡음이 섞여, 후속 패치 생성에 부정적 영향을 미치는 현상이다. 이를 해결하기 위해 저자는 최적 수송(OT) 이론을 도입한다. 구체적으로, 조건 분포 μ_t 를 목표 이상적인 분포 ν 로 이동시키는 Wasserstein Gradient Flow ∂_t μ_t = ∇·(μ_t∇Φ) 를 정의하고, Φ를 조건 정제 네트워크 T 가 최소화하도록 설계한다. 이 흐름은 KL 발산 대신 2‑Wasserstein 거리에 대한 감소를 보장하므로, 반복적인 정제 단계가 수렴함을 이론적으로 증명한다(정리 4).

실험에서는 ImageNet‑1k 데이터셋을 사용해 기존 조건부 확산 모델(Diffusion‑C), VQ‑VAE 기반 AR 모델, 그리고 최신 AR‑Diffusion‑Loss 모델과 비교한다. 제안 방법은 FID ≈ 6.8, IS ≈ 210을 기록하며, 특히 고해상도(256×256) 이미지에서 조건 일관성 지표가 30 % 이상 향상된다. 또한, 조건 정제 전후의 디노이징 경로를 시각화해, 정제 단계에서 조건 분포가 빠르게 이상적인 형태로 수렴함을 확인한다.

요약하면, 이 논문은 (1) AR‑확산 손실이 조건 오류를 패치 디노이징을 통해 체계적으로 감소시킨다는 이론적 근거를 제공하고, (2) 조건 오류가 지수적으로 소멸한다는 정량적 분석을 제시하며, (3) OT 기반 Wasserstein Gradient Flow를 활용한 조건 정제 메커니즘을 설계해 실제 이미지 생성 품질을 크게 향상시킨다. 이러한 기여는 차세대 멀티모달 생성 모델에서 조건 제어의 안정성을 확보하는 데 중요한 토대를 제공한다.