동적 초안 길이 제어를 위한 블록 단위 사전 검증 기법 PACER

초록

PACER는 초안 모델이 생성한 토큰을 블록 단위로 사전 검증하는 경량 레이어를 도입해, 각 디코딩 단계마다 최적의 초안 길이를 동적으로 조절한다. 이를 통해 고정된 초안 윈도우 크기로 인한 비효율을 해소하고, 기존 Speculative Decoding 대비 최대 2.66배, Ouroboros와 결합 시 최대 3.09배의 속도 향상을 달성한다.

상세 분석

본 논문은 대형 언어 모델(LLM)의 추론 지연을 줄이기 위한 Speculative Decoding(SD)의 한계점을 정확히 짚어낸다. 기존 SD는 초안 모델이 고정된 토큰 수(γ)를 미리 생성하고, 이를 타깃 모델이 한 번에 검증하는 방식인데, 실험을 통해 초안 토큰의 수용 길이(L_A)가 디코딩 단계마다 크게 변동한다는 사실을 발견한다. 고정 γ가 작으면 타깃 모델 호출이 빈번해 전체 속도가 저하되고, γ가 크면 불필요한 초안 연산이 낭비된다. 이러한 트레이드오프를 해결하기 위해 PACER는 두 핵심 아이디어를 제시한다. 첫째, 초안 토큰을 b개의 블록으로 나누어 블록 단위 사전 검증(pre‑verification) 레이어(M_B)를 적용한다. M_B는 초안 모델의 은닉 상태와 위치 임베딩을 입력으로 받아 각 토큰의 수용 확률(α̂)을 예측하고, 블록 평균이 사전 정의된 임계값 t 이하이면 초안 생성을 중단하고 타깃 모델에 검증을 위임한다. 둘째, 임계값 t를 매 라운드마다 성장 계수 ρ>1로 증가시켜, 디코딩이 진행될수록 초안 생성을 점진적으로 억제한다. 이 설계는 블록 크기 b와 임계값 t, 성장 계수 ρ라는 세 개의 하이퍼파라미터만으로 동적 초안 길이를 조절하면서도 사전 검증 연산 비용을 최소화한다. 학습 단계에서는 타깃 모델이 생성한 정답 시퀀스를 기준으로 초안 토큰을 라벨링하고, 교차 엔트로피 손실로 M_B를 학습한다. 또한 여러 디코딩 단계의 초안 토큰을 하나의 시퀀스로 패킹하고, 맞춤형 어텐션 마스크를 적용해 효율적인 배치 학습을 수행한다. 실험에서는 DeepSeek‑Coder, Llama‑2, Qwen‑2.5 등 다양한 모델 쌍에 PACER를 적용했으며, HumanEval, Code Generation, 수학 추론, 텍스트 요약 등 10여 개 벤치마크에서 고정 γ 대비 평균 1.4배 이상의 속도 향상을 기록했다. 특히, Ouroboros와 결합했을 때는 최대 3.09배의 가속을 달성, 사전 검증 레이어가 기존 SD 파이프라인에 거의 비용을 추가하지 않으면서도 동적 윈도우 조절 효과를 극대화한다. 논문은 또한 초안 토큰의 위치가 수용 확률에 미치는 영향을 분석해, 위치 임베딩이 사전 검증 정확도 향상에 기여함을 실증한다. 전체적으로 PACER는 “블록 단위 사전 검증 + 동적 윈도우 조절”이라는 간단하지만 강력한 메커니즘을 통해 Speculative Decoding의 효율성을 크게 끌어올린다.