백플레이 디퓨전 언어 모델 자체 교정 플러그인

초록

백플레이는 파인튜닝된 디퓨전 언어 모델(DLM)을 고정하고, 오류 탐지를 위한 경량 교정 헤드를 별도로 학습한다. ‘룩백 교정(Look‑back Correction)’이라는 훈련 기법을 통해 초기 단계에서 발생한 오류를 이후 단계의 풍부한 컨텍스트로 재검증하도록 하여, 대규모 스텝으로 토큰을 병렬 생성할 때 발생하는 의존성 오류를 효과적으로 완화한다. 수학 추론 및 코드 생성 벤치마크에서 큰 스텝 크기에서도 품질 저하를 크게 줄이며, 빠른 추론 속도와 높은 출력 신뢰성을 동시에 달성한다.

상세 분석

본 논문은 디퓨전 언어 모델(DLM)의 병렬 토큰 생성 과정에서 발생하는 ‘의존성 오류’를 근본적으로 해결하고자 한다. 기존 방법은 모델 자체를 재학습하거나, 임의의 마스크 재샘플링을 통해 오류를 교정하려 했지만, 이는 모델 성능 저하, 학습 비용 증가, 그리고 실제 오류 분포와의 불일치라는 문제점을 안고 있었다. 백플레이는 이러한 한계를 세 가지 핵심 설계로 극복한다. 첫째, 파인튜닝된 DLM 파라미터 θ*를 완전히 고정하고, 별도의 경량 Transformer 교정 헤드 φ만을 학습한다. 이는 기본 모델의 생성 능력을 보존하면서도 교정 모듈에 대한 학습 효율성을 크게 향상시킨다. 둘째, ‘룩백 교정(Look‑back Correction)’이라는 데이터 생성 전략을 도입한다. 구체적으로, 더 높은 노이즈 단계 t+Δt에서 모델이 만든 예측 y를 선택적으로 현재 단계 t의 마스크 위치에 삽입함으로써, 초기 단계에서의 오류가 나중 단계의 풍부한 문맥에 의해 드러나는 상황을 인위적으로 재현한다. 이 과정에서 컨피던스 기반 토큰 선택을 사용해 실제 추론 시 오류가 발생하기 쉬운 토큰을 집중적으로 학습시킨다. 셋째, 학습 목표는 BCE 손실을 이용한 이진 오류 분류이며, 교정 헤드는 DLM의 penultimate hidden state h_{L‑1}를 입력으로 받아 기존 파라미터와의 연산 중복을 최소한다. 이러한 설계는 (1) 모델 용량 트레이드오프를 회피하고, (2) 실제 배포 환경에서 나타나는 오류 분포와 학습 데이터의 정합성을 확보하며, (3) 메모리와 연산 비용을 크게 절감한다는 장점을 제공한다. 실험 결과는 수학 문제 풀이(MATH)와 코드 생성(HumanEval)에서 스텝 수를 4배 이상 늘려도 기존 DLM 대비 15~20% 이상의 정확도 향상을 보이며, 특히 큰 스텝에서 발생하던 품질 급락 현상을 현저히 완화한다는 점에서 백플레이의 실용성을 입증한다. 전체적으로 본 연구는 DLM에 플러그인 형태로 적용 가능한 교정 프레임워크를 제시함으로써, 고속 병렬 생성과 높은 신뢰성을 동시에 만족시키는 새로운 패러다임을 제시한다.