dVoting: 확장 가능한 dLLM 추론을 위한 빠른 투표 기법

초록

dVoting은 확산 기반 대형 언어 모델(dLLM)의 임의 위치 병렬 생성 특성을 활용해, 여러 샘플 간 토큰 일관성을 분석하고 불확실한 토큰만 재생성하는 반복적 투표 과정을 제안한다. 훈련 없이 추론 단계만으로 GSM8K, MATH500, ARC‑C, MMLU 등에서 4 %~15 % 수준의 정확도 향상을 달성했으며, 기존 RL 기반 방법에 비해 계산 비용을 크게 절감한다.

상세 분석

본 논문은 확산 기반 대형 언어 모델(dLLM)이 제공하는 “임의 위치 마스크·재생성” 메커니즘을 테스트‑타임 스케일링에 적용한 최초 시도라 할 수 있다. 기존의 자동회귀 LLM은 좌측‑우측 순차적 토큰 생성으로 인해 병렬화에 한계가 있었지만, dLLM은 전체 시퀀스를 동시에 마스크하고 복원함으로써 토큰 별 독립적인 추론이 가능하다. 저자들은 이 특성을 이용해 다중 샘플을 생성한 뒤, 각 토큰 위치에서의 일관성(consistency)을 측정한다. 일관성이 높은 토큰은 “확신된” 토큰으로 간주해 그대로 보존하고, 일관성이 낮은 토큰만을 선택적으로 재마스크하여 다시 샘플링한다. 이 과정을 토큰 수준에서 반복함으로써, 전체 샘플 수는 크게 늘리지 않으면서도 불확실한 부분만 집중적으로 개선한다는 점이 핵심이다.

핵심 관찰은 두 가지이다. 첫째, 다중 샘플 간에 정답을 내는 경우 대부분 높은 투표 일관성(예: 4/5, 5/5)을 보이며, 반대로 오류가 발생한 경우 일관성이 낮다. 이는 “쉬운” 질문일수록 모델이 일관된 답을 내놓으며, 복잡한 질문에서만 불확실성이 집중된다는 의미다. 둘째, 토큰 수준에서 동일한 토큰이 여러 샘플에 반복적으로 등장하는 현상이 빈번히 관찰되었다(NUPR@2 ≈ 40 %). 이는 샘플 간 중복이 크다는 증거이며, 불필요한 연산을 줄일 여지를 제공한다.

dVoting은 이러한 관찰을 바탕으로 ‘보존‑재마스크’ 전략을 설계한다. 구체적으로는 (1) 초기 N개의 샘플을 병렬 생성, (2) 각 토큰 위치별 투표 수를 집계, (3) 일정 임계값 이하인 토큰을 마스크하고 재생성, (4) 전체 토큰이 일정 일관성 기준을 만족하거나 최대 반복 횟수에 도달하면 종료한다. 최종 답은 다중 샘플 중 가장 많이 등장한 답을 선택하거나, 필요 시 토큰‑레벨 다수결을 적용한다.

실험에서는 두 가지 대표적인 dLLM(LLaDA‑8B‑Instruct, Dream)과 4가지 베치마크(GSM8K, MATH500, ARC‑C, MMLU)를 사용했다. dVoting은 Pass@1 기준으로 기존 단일 샘플 대비 4 %~7 % 정도의 절대 정확도 향상을 보였으며, 특히 GSM8K와 MATH500에서 6 %~8 %의 눈에 띄는 개선을 기록했다. 또한, 동일한 성능을 달성하기 위해 필요한 연산량(step count)은 기존 베스트‑of‑N 방식보다 30 %~50 % 적었다. 이는 “투표 일관성 기반 선택적 재생성”이 불필요한 중복 연산을 크게 감소시킨 결과이다.

비교 대상인 RL 기반 강화학습(d1, wd1, IGPO 등)은 사전 훈련된 정책 모델과 추가 데이터가 필요하지만, dVoting은 전혀 추가 학습 없이 모델 자체만을 이용한다. 따라서 배포 환경에서의 적용 장벽이 낮으며, 추론 비용을 제어할 수 있는 파라미터(샘플 수, 일관성 임계값, 최대 반복 횟수)도 직관적이다.

한계점으로는 (1) 현재는 토큰‑레벨 일관성만을 활용했으며, 문맥‑레벨 혹은 의미‑레벨 일관성을 고려한 확장 가능성이 남아 있다. (2) 불확실한 토큰이 다수일 경우 재마스크 비용이 급증할 수 있어, 동적 임계값 조정이나 비용‑효과 최적화가 필요하다. (3) 실험은 주로 8B 규모 모델에 국한돼 있어, 더 큰 모델이나 멀티모달 dLLM에 대한 일반화 검증이 요구된다.

전반적으로 dVoting은 dLLM의 고유한 병렬 복원 특성을 활용해 테스트‑타임 스케일링을 효율적으로 구현한 혁신적인 접근이며, 훈련‑프리 방식으로도 RL 기반 방법에 필적하거나 능가하는 성능을 보여, 향후 dLLM 기반 서비스의 실용성을 크게 높일 전망이다.