확산 분류 손실을 이용한 에너지 기반 생성 모델 학습

초록

본 논문은 에너지 기반 모델(EBM)의 학습을 위해 기존 점수 매칭이 갖는 모드 블라인드 문제를 해결하고, 효율적인 학습을 가능하게 하는 새로운 목표함수인 Diffusive Classification (DiffCLF)를 제안한다. DiffCLF는 시간에 따라 변하는 여러 확산 단계의 데이터를 다중 클래스 분류 문제로 재구성함으로써 에너지와 정규화 상수를 동시에 학습한다. 이 방법은 점수 매칭과 결합해도 효과적이며, 가우시안 혼합 모델 실험과 볼츠만 제너레이터, 모델 합성 등 다양한 응용에서 기존 방법보다 높은 정확도와 활용성을 보인다.

상세 분석

DiffCLF는 확산 과정 (Y_t = X_t + \gamma(t)Z) 에서 얻어지는 여러 시점 (t_i) 의 샘플을 “클래스”로 간주하고, 각 클래스에 해당하는 에너지 (U_{\theta}^{t_i}(y)) 와 로그 정규화 상수 (F_{\theta}^{t_i}) 를 파라미터화한다. 이때 모델은
\