클래스 분화의 엔트로피 신호: 확산 모델 시점별 제어

초록

본 논문은 확산 모델에서 노이즈 단계별로 의미적 구조가 언제, 어떻게 확정되는지를 정량화하기 위해 클래스‑조건부 엔트로피를 도입한다. 고차원 가우시안 혼합 모델 분석을 통해 엔트로피 감소가 로그 스케일의 “speciation” 시점과 일치함을 보이고, 이를 실제 EDM2‑XS와 Stable Diffusion 1.5에 적용해 의미적 전이 구간을 정확히 탐지한다. 또한 가이던스가 정보 흐름을 시간에 따라 어떻게 재분배하는지도 정량화한다.

상세 분석

논문은 먼저 확산 모델의 전방 SDE를 가우시안·등방성 커널(p(x_t|x_0)=N(α_t x_0,σ_t^2 I))으로 가정하고, 잠재 의미 변수 Z∈{1,…,N}의 클래스‑조건부 엔트로피 H