디퓨전 이중성으로 보는 텍스트 생성 혁신

초록

Uniform‑state 이산 디퓨전 모델이 연속형 가우시안 디퓨전과 수학적으로 연결된다는 ‘디퓨전 이중성’ 개념을 제시한다. 이를 기반으로 Gaussian 디퓨전에서 검증된 커리큘럼 학습과 일관성 증류 기법을 이산 텍스트 모델에 적용해 학습 속도를 2배로 높이고, 샘플링 단계 수를 100배 감소시킨다. 결과적으로 7개 벤치마크 중 3개에서 오토레그레시브 모델을 능가하는 퍼플렉시를 기록한다.

상세 분석

본 논문은 이산 텍스트 디퓨전 모델, 특히 Uniform‑state Diffusion Model(USDM)의 근본적인 한계를 가우시안 디퓨전과의 수학적 연계성을 통해 극복한다는 점에서 혁신적이다. 저자들은 ‘디퓨전 이중성’이라는 개념을 정의하고, 연속형 가우시안 라티스 wₜ에 arg max 연산을 적용하면 이산 라벨 zₜ=arg max(wₜ) 가 Uniform‑state 디퓨전의 마르코프 과정에 정확히 대응한다는 정리를 제시한다. 핵심은 변환 연산 T(α̃ₜ)으로, 가우시안 확산 파라미터 α̃ₜ를 이산 확산 파라미터 αₜ에 매핑한다. 이 매핑은 확률 밀도 함수의 푸시포워드 연산을 통해 증명되며, 결과적으로 이산 마진 Pₜ는 선형 ODE dPₜ/dt = –T′(α̃ₜ)·K·T(α̃ₜ)