이산 확산 모델을 위한 엔트로피 기반 샘플링 스케줄

초록

본 논문은 이산 확산 모델의 역전 과정에 열역학적 엔트로피 생산률을 도입해 정보 생성량을 정량화하고, 이를 기반으로 정보량이 일정하게 증가하도록 설계한 Entropic Discrete Schedule(EDS)와 Wasserstein 거리 기준으로 균등하게 진행되는 Wasserstein Discrete Schedule(WDS)를 제안한다. 두 스케줄은 기존 선형·코사인 등 휴리스틱 스케줄보다 적은 샘플링 단계로 높은 품질의 생성 결과를 달성한다.

상세 분석

논문은 먼저 연속 시간 마코프 체인(CTMC) 형태의 이산 확산 과정을 수학적으로 정의하고, 정방향 생성자 →Qₜ와 역방향 생성자 ←Qₜ 사이의 관계를 전통적인 시간 역전 공식으로 연결한다. 이를 바탕으로 스테판·세이퍼트(Seifert)와 에스포지토·반덴브로크(Esposito & Van den Broeck)의 비평형 열역학 프레임워크를 차용해 전체 엔트로피 생산(H_tot)을 두 부분, 즉 **Adiabatic Entropy Production(H_ad)**과 Non‑Adiabatic Entropy Production(H_na) 로 분해한다.

• Adiabatic 부분은 시스템이 유지되는 비평형 전류에 필요한 엔트로피이며, 상세 균형이 성립하는 Uniform Diffusion에서는 H_ad가 0이 된다.
• Non‑Adiabatic 부분은 실제 데이터 분포 πₜ 에 수렴하기 위해 발생하는 엔트로피로, 역전 과정에서 정보가 재구성되는 양을 직접 측정한다. 특히 마스크 기반 흡수형 확산에서는 H_ad가 발산하지만 H_na는 유한하게 유지돼, 모델이 생성 과정에서 실제 “학습된” 정보를 반영하는 핵심 지표가 된다.

다음으로 저자는 Van Vu & Saito(2023)의 결과를 이용해 Wasserstein Speed Limit을 도출한다. L₁‑Wasserstein 거리 W(p₀, p_T) 는 시간에 따른 상태 이동성 M(t)와 엔트로피 생산의 적분으로 상한이 잡히며, 이는 “주어진 거리만큼 이동하려면 최소한의 엔트로피 생산이 필요하다”는 물리적 직관을 제공한다. 실제 구현에서는 H_na만을 사용해 근사적인 상한 W_θ를 계산하고, 이를 샘플링 스케줄 설계에 활용한다.

이러한 이론적 기반 위에 두 가지 새로운 스케줄을 제안한다.

1. Entropic Discrete Schedule (EDS)

   • 누적 엔트로피 C(t)=∫₀ᵗ H_na(τ)dτ 를 계산하고, 전체 엔트로피를 K 단계에 균등하게 나눈다(C(t_k)=k·C(T)/K).
   • 결과적으로 각 단계에서 “정보량”이 동일하게 증가하도록 시간 간격을 조정한다.
   • 고엔트로피 구간(노이즈가 많을 때)에서는 큰 시간 간격을 두고, 저엔트로피 구간(구조가 형성되는 시점)에서는 작은 간격을 사용해 근사 오차를 최소화한다.

2. Wasserstein Discrete Schedule (WDS)

   • 비슷한 방식으로 누적 Wasserstein 거리 W_cum(t)=∫₀ᵗ v(τ)dτ (여기서 v는 순간 이동 속도, 즉 M(t)·H_na(t) 에 비례)를 구하고, 이를 K 단계에 균등하게 분할한다.
   • 각 단계가 동일한 “거리”만큼 이동하도록 설계돼, 특히 데이터 구조가 급격히 변하는 전이 구간을 정밀하게 샘플링한다.

실험에서는 합성 데이터, 음악 악보(MIDI), 이미지(픽셀 기반), 텍스트(토큰 시퀀스) 등 네 가지 도메인에서 기존 Linear, Cosine, DDIM‑style 등 다양한 베이스라인과 비교했다. 평가 지표(FID, BLEU, NLL 등)와 샘플링 단계 수(10‑100 단계) 모두에서 EDS와 WDS가 일관되게 우수한 성능을 보였으며, 특히 20‑30 단계 수준에서도 베이스라인이 100 단계에서 도달하는 수준에 근접하거나 초과했다.

또한, 저자는 H_na와 W_θ를 실시간 모니터링 지표로 활용해 “샘플링 중 언제 멈춰도 충분히 좋은 결과를 얻을 수 있는가”를 판단하는 조기 종료 기준을 제시한다. 이는 실제 서비스 환경에서 연산 비용을 크게 절감할 수 있는 실용적 부가 가치다.

전체적으로 논문은 이산 확산 모델의 역전 과정을 열역학적 관점에서 정량화하고, 그 결과를 샘플링 스케줄 설계에 직접 연결함으로써, 기존 휴리스틱 기반 방법론의 한계를 이론적으로 설명하고 실험적으로 뛰어넘는 새로운 패러다임을 제시한다.