동적 지연 트리 확장으로 향상된 다경로 추측 디코딩

초록

본 논문은 다경로 추측 디코딩에서 검증 알고리즘을 체계적으로 비교하고, 기존 최적수송(OT) 기반 방법이 트리 깊은 곳에서 효율이 떨어지는 원인을 분석한다. 이를 해결하기 위해 ‘지연 트리 확장’ 기법을 도입해 초기에 단일 경로를 만든 뒤, 적절한 시점에 i.i.d. 분기를 수행한다. 또한, 초안·목표 모델의 특징을 입력으로 블록 효율을 예측하는 경량 MLP 선택자를 학습시켜 상황에 맞는 확장 파라미터를 동적으로 결정한다. 실험 결과, OT 기반 SpecInfer가 Traversal Verification을 5% 이상 능가한다는 것을 보여준다.

상세 분석

이 연구는 다경로 추측 디코딩의 핵심 병목인 ‘검증 단계’에 초점을 맞추어, 기존에 제안된 여러 검증 알고리즘을 동일한 i.i.d. 초안 설정 하에 광범위하게 평가하였다. 실험에 사용된 모델군은 Gemma, Qwen, Llama 등 최신 LLM이며, 작업은 번역, 코딩, 수학 추론 등 다양하게 구성되었다. 평가 지표는 블록 효율(E