마스크된 이산 확산 모델을 위한 재마스킹 샘플러와 추론 시 연산 스케일링

초록

ReMDM은 기존 마스크 기반 이산 확산 모델이 한 번 복호화된 토큰을 다시 수정하지 못하는 한계를 극복한다. 토큰을 재마스크할 확률 σₜ를 도입해 역확산 과정에서 오류를 교정하고, 샘플링 단계 수를 늘리면 자연어 품질이 자동회귀 모델에 근접한다. 이미지와 분자 설계에서도 품질·제어 가능성을 동시에 향상시킨다.

상세 분석

본 논문은 마스크된 이산 확산 모델(Masked Diffusion Language Model, MDLM)의 핵심 약점인 “once‑unmasked tokens cannot be changed”을 정량적·이론적으로 분석하고, 이를 해결하기 위한 새로운 역확산 과정인 ReMDM(Remasking Diffusion Model)을 제안한다. 핵심 아이디어는 토큰이 마스크 상태