LAVE 확실한 문법 제약 디퓨전 LLM 디코딩

초록

Diffusion 기반 대형 언어 모델(dLLM)은 비자율적 토큰 예측으로 빠른 생성이 가능하지만, 문법적으로 올바른 출력 보장은 어렵다. 본 논문은 dLLM의 모든 위치에 대한 동시 확률분포를 활용해, 제안된 토큰을 미리 “look‑ahead”하고 CFG 파서를 통해 검증하는 LAVE(Lookahead‑then‑Verify) 방식을 제안한다. 제한된 샘플링과 경량 복구 메커니즘을 통해 신뢰성 있는 제약 디코딩을 구현하면서도 실행 비용은 거의 증가하지 않는다. 네 가지 dLLM과 세 가지 벤치마크에서 기존 방법을 크게 앞서며 구문 오류율을 거의 0%에 가깝게 낮추었다.

상세 분석

본 연구는 Diffusion Large Language Models(dLLM)의 비자율적 생성 특성을 깊이 파악하고, 이를 CFG 기반 제약 디코딩에 적용하는 새로운 프레임워크 LAVE를 제시한다. 기존의 Autoregressive(AR) LLM용 제약 디코딩은 토큰이 순차적으로 추가되는 전제에 의존하지만, dLLM은 마스크된 전체 시퀀스에 대해 한 번에 모든 위치의 토큰 분포를 예측한다. 이 특성을 이용해 LAVE는 모델이 새로운 토큰을 제안할 때마다 현재 불완전한 프리픽스에 대해 “look‑ahead” 샘플링을 수행한다. 구체적으로, 남은