효율적인 퍼플렉시티 경계와 비율 매칭을 통한 이산 확산 언어 모델

초록

연속 확산 모델의 성공을 이산 텍스트에 적용하기 위해, 저자들은 CTMC 기반의 비율 매칭을 개선하고 새로운 KL‑다이버전스 정리를 제시한다. 이론적 경계를 통해 퍼플렉시티 상한을 더 정확히 추정하고, denoising cross‑entropy 손실을 이용한 CEDD 훈련 방식이 기존 SEDD 대비 10 % 이하의 퍼플렉시티 감소와 15 % 빠른 학습을 달성한다. 또한 마스크‑언마스크 과정을 정교히 제어할 수 있는 ‘룰렛 디퓨전’ 전이 행렬과 그 행렬 지수식을 도출해 효율적인 학습·생성을 가능하게 한다.

상세 분석

본 논문은 이산 확산 언어 모델링에서 가장 큰 장애물 중 하나인 퍼플렉시티 계산의 어려움을 이론적·실험적으로 해결한다. 첫 번째 기여는 연속 확산 모델에서 알려진 KL‑다이버전스와 퍼플렉시티 경계의 이산 버전을 제시한 세 가지 정리이다. 특히 Theorem 4는 기존 Lou et al. (2024)의 경계보다 계산량이 적고 약간 더 타이트한 상한 J₂를 제공한다. J₂는 Qₜ 전이율 행렬과 학습된 비율 sθ(xₜ,t) 사이의 기대값을 적분 형태로 표현하며, 두 번째 항인 −∫₀¹Eₓₜ