제약이 있는 이산 확산 모델: CDD로 안전하고 제어 가능한 시퀀스 생성

초록

본 논문은 이산 확산 과정에 미분 가능한 제약 투영 연산자를 삽입해, 샘플링 단계마다 사용자가 정의한 논리·안전·속성 제약을 강제로 만족시키는 프레임워크인 Constrained Discrete Diffusion(CDD)을 제안한다. 모델 재학습 없이도 독성 억제, 분자 속성 제어, 명령어 기반 텍스트 완성 등 다양한 도메인에서 제약 위반을 0%로 달성하면서도 유창성·다양성·신뢰성을 유지한다.

상세 분석

CDD는 기존 이산 확산 모델이 제공하는 전역적인 토큰 확률 텐서를 활용한다는 점에서 핵심적인 차별성을 가진다. 전통적인 연속 확산에서는 라그랑주 승수를 이용한 유클리드 투영이 가능하지만, 이산 경우 확률 단순체 위에서 KL 발산을 최소화하는 투영을 정의함으로써 “가장 가까운” 확률 분포를 찾는다. 구체적으로, 각 역전파 단계에서 모델이 출력한 확률 벡터 x′ₜ를 입력으로, 제약 집합 C (예: “독성 점수 ≤ 0.2”, “SMILES 문자열이 화학적으로 유효함”, “특정 토큰 순서 보장”)을 만족하도록 arg max (y) ∈ C 조건을 추가한 최적화 문제를 풀어 y*를 얻는다. 이때 KL‑투영은
\