정정 확산 언어 모델: 오류 인식과 반복 교정의 새로운 패러다임

초록

본 논문은 기존 마스크 확산 언어 모델(MDLM)이 토큰 수준의 신뢰도를 정확히 구분하지 못해 오류 교정에 한계가 있음을 지적하고, 보이는 오류 토큰에 대한 명시적 감독을 추가한 사후 학습 방식을 제안한다. 이를 통해 오류에 낮은 신뢰도를 부여하고, 목표 위치만 선택적으로 재마스크하여 반복적으로 교정할 수 있는 ‘정정 확산 언어 모델(CDLM)’을 구현한다. 평가를 위해 코드 오류를 제어적으로 삽입하고 실행 가능한 검증을 제공하는 Code Revision Benchmark(CRB)를 구축했으며, 실험 결과 CDLM이 기존 MDLM에 비해 오류 위치 식별과 교정 정확도에서 크게 우수함을 확인하였다.

상세 분석

이 논문은 확산 언어 모델(DLM)이 비인과적 구조를 갖고 있어 전체 시퀀스를 동시에 다룰 수 있다는 점에서 기존의 인과적(autoregressive) 모델과 근본적인 차이를 강조한다. 그러나 현재 널리 사용되는 마스크 확산 언어 모델(Masked Diffusion Language Model, MDLM)은 학습 단계에서 마스크된 토큰만을 복원하도록 설계돼, 가시 토큰이 올바른지 여부를 판단할 신호가 제공되지 않는다. 결과적으로 모델은 오류가 포함된 토큰과 정상 토큰을 구분하는 신뢰도(confidence)를 학습하지 못하고, 반복적인 교정 과정에서 “어디를 고쳐야 할지”를 정확히 파악하지 못한다.

논문은 이러한 문제를 ‘정정 행동(corrective behavior)’이라는 개념으로 정의한다. 정정 행동이란 모델이 전체 시퀀스 내에서 오류 토큰에 낮은 신뢰도를 할당하고, 이를 기반으로 선택적으로 재마스크·재생성함으로써 오류를 점진적으로 수정하는 능력을 말한다. 기존 MDLM은 이러한 능력을 자연스럽게 획득하지 못하므로, 저자들은 두 가지 핵심 개선점을 제시한다. 첫째, 오류가 포함된 가시 토큰에 대해 명시적으로 정답을 제공하는 ‘post‑training corrective principle’를 도입한다. 이는 기존의 흡수‑균등 혼합(absorbing‑uniform mixture) 목표에 가시 오류 토큰에 대한 복원 손실을 추가함으로써, 모델이 오류 토큰을 인식하고 낮은 신뢰도를 부여하도록 강제한다. 둘째, 오류 인식과 교정을 평가하기 위한 전용 벤치마크인 Code Revision Benchmark(CRB)를 설계한다. CRB는 HumanEval·MBPP 등 기존 코드 생성 데이터셋에 타입‑보존형 오류(연산자, 식별자, 리터럴 교체)를 제어적으로 삽입하고, 실행 검증을 통해 실제 오류가 존재함을 보장한다.

실험에서는 Dream‑7B‑Base, LLaD‑A‑8B‑Base, Open‑dCoder‑0.5B 등 여러 공개 DLM에 대해 기존 MDLM과 제안된 CDLM을 비교한다. 결과는 크게 두 부분에서 차이를 보인다. (1) 오류 토큰 식별 능력: CDLM은 오류 토큰에 대한 평균 신뢰도 차이(gap)가 크게 증가하고, Top‑1/Top‑5 히트율이 현저히 향상돼 오류 위치를 정확히 찾아낸다. (2) 반복 교정 성능: 동일한 신뢰도 임계값(τ=0) 하에 여러 차례 재마스크·재생성을 수행했을 때, Pass@1 점수가 크게 상승한다. 특히 오류 개수가 늘어날수록(다중 오류 상황) CDLM의 상대적 이점이 두드러지며, 고불확실성(parallel decoding) 상황에서도 교정 능력이 전체 생성 품질을 끌어올리는 효과를 확인한다.

이러한 결과는 DLM이 단순히 “전체를 한 번에 생성”하는 것이 아니라, 오류를 인식하고 목표 지점을 선택적으로 수정할 수 있는 ‘정정 가능한’ 모델로 전환될 가능성을 시사한다. 또한, 가시 토큰에 대한 감독을 추가하는 사후 학습 방식이 기존 대규모 사전학습 모델에 비교적 적은 비용으로 적용 가능함을 보여준다. 향후 연구에서는 정정 원리를 다른 도메인(예: 자연어 텍스트, 이미지 캡션)으로 확장하거나, 오류 유형을 더 다양화하고, 실시간 교정 루프를 통한 인간‑기계 협업 시스템에 적용하는 방안을 탐색할 수 있다.