분기 무작위 보행으로 밝혀낸 추측 디코딩의 속도 한계

초록

대규모 언어 모델의 추론 속도를 높이는 핵심 기술인 ‘추측 디코딩’의 근본적인 성능 한계를 최초로 규명한 연구. 토큰 생성 과정을 ‘분기 무작위 보행’이라는 확률론적 모델로 분석하여, 병렬 검증 능력과 모델 출력의 엔트로피에 기반한 최적 하한을 수학적으로 증명했다. 이론적 한계가 실제 Llama 모델 실험에서도 유효함을 입증하며, 향후 시스템 설계에 중요한 지침을 제시한다.

상세 분석

이 논문은 추측 디코딩의 이론적 토대를 확립한 선구적 연구다. 기존 연구가 경험적 개선에 집중했다면, 본 논문은 ‘어떤 결정론적 추측 알고리즘도 넘을 수 없는 근본적인 속도 상한이 존재한다’는 명제를 수학적으로 증명함으로써 패러다임을 전환시켰다.

핵심 기여는 토큰 생성 트리를 ‘분기 무작위 보행(Branching Random Walk, BRW)‘으로 모델링한 것이다. 각 토큰의 생성은 무작위 보행의 한 걸음으로, 토큰의 로그 확률은 보행자의 위치로 해석된다. 이를 통해 확률론의 정교한 도구, 특히 ‘다대일 보조정리(Many-to-One Lemma)‘를 활용해 분석할 수 있게 되었다. 이 프레임워크 하에서, 최적의 전략은 단순히 가장 확률이 높은 P개의 토큰 시퀀스를 탐욕적으로 선택하는 것임을 보였다(Lemma 1).

이로부터 도출된 주요 결론은 기대 수용 토큰 수 E