한 토큰으로 판단하는 효율적 협업 추론

초록

본 논문은 대형 추론 모델(LRM)의 단계별 어려움을 첫 토큰의 엔트로피만으로 예측하고, 이를 기반으로 경량 모델과 대형 모델을 동적으로 라우팅하는 훈련‑프리 프레임워크 Glim​pRouter를 제안한다. 초기 토큰 엔트로피가 낮으면 경량 모델이 전체 단계를 생성하고, 높으면 대형 모델에 넘겨 정확성을 유지하면서 추론 지연을 25.9 % 감소시킨다.

상세 분석

GlimpRouter의 핵심 가설은 “Aha Moment” 현상에서 파생된 것으로, 추론 단계의 첫 토큰이 해당 단계의 난이도를 가장 잘 드러낸다는 점이다. 이를 검증하기 위해 저자들은 다양한 LLM(Qwen‑3‑4B, Qwen‑3‑32B, DeepSeek‑R1‑Distill‑Qwen‑32B)에서 수백만 토큰을 수집하고, 네 가지 불확실성 지표(전체 단계 엔트로피 H step, 단계 퍼플렉시티 PPL step, LLM‑as‑a‑Judge 점수, 초기 토큰 엔트로피 H init)를 비교하였다. H init은 다른 지표와 달리 뚜렷한 양상(이중 피크와 무거운 꼬리)을 보이며, 낮은 엔트로피는 규칙적인 파생 단계, 높은 엔트로피는 논리적 전환점이나 복잡한 연산을 의미한다.

실험적으로 H init 구간별로 경량 모델과 대형 모델의 출력 일치를 BLEU‑4와 SBERT 유사도로 측정했을 때, 엔트로피가 낮은 구간에서는 두 모델 간 높은 일치도를 보였고, 엔트로피가 증가함에 따라 일치도가 급격히 감소한다. 이는 초기 토큰 엔트로피가 단계 난이도와 직접적인 상관관계를 가짐을 실증한다.

GlimpRouter는 이 통계적 신호를 라우팅 기준으로 활용한다. 구체적인 흐름은 다음과 같다. 1) 질문과 기존 단계들을 컨텍스트로 하여 경량 모델이 첫 토큰을 한 번만 생성한다. 2) 해당 토큰의 확률 분포에서 엔트로피 H init을 계산한다. 3) 사전에 정의된 임계값 τ와 비교해 H init ≤ τ이면 경량 모델이 전체 단계(토큰 수 L ≫ 1)를 자동회귀적으로 완성한다; H init > τ이면 현재 컨텍스트를 대형 모델에 전달해 고품질 단계 생성을 맡긴다.

이때 모델 전환 비용을 최소화하기 위해 KV‑cache 기반 프리픽스 캐싱을 적용한다. 경량 모델이 생성한 토큰들은 이미 캐시되어 있어, 대형 모델이 동일 컨텍스트를 재사용할 때 재계산이 필요하지 않다. 또한 최종 답변은 항상 대형 모델이 생성하도록 설계해, 경량 모델이 만든 오류가 최종 결과에 미치는 영향을 방지한다.

성능 평가에서는 수학 추론(AIME‑25), 일반 추론(GPQA), 코드 생성(LiveCodeBench) 등 세 가지 벤치마크를 사용했다. 전체 지연 시간은 대형 모델 단독 대비 평균 22 %~27 % 감소했으며, 정확도는 AIME‑25에서 10.7 %p 상승, GPQA와 LiveCodeBench에서도 동등하거나 약간 개선된 결과를 보였다. 특히 토큰‑레벨 추측 디코딩(Speculative Decoding)과 병행했을 때 복합적인 속도 향상이 가능함을 실증했다.

이 연구는 “한 토큰만으로 판단한다”는 극단적인 최소 정보 접근법이 실제로 단계 난이도 추정에 충분히 강력함을 보여준다. 기존 방법들은 전체 단계의 평균 불확실성을 사용하거나, 별도의 검증 모델을 호출해 추가 비용을 발생시켰지만, Glim​pRouter는 훈련 없이 바로 적용 가능하고, 라우팅 판단 비용이 토큰 하나 수준에 불과하다는 점에서 실용성이 크다. 다만 임계값 τ 설정이 데이터와 모델 규모에 따라 민감하게 작용할 수 있으며, 매우 복합적인 단계에서는 초기 토큰만으로 난이도를 완전히 포착하지 못할 가능성도 존재한다. 향후 연구에서는 동적 τ 조정, 다중 토큰 “프리뷰” 전략, 그리고 다양한 도메인에 대한 일반화 검증이 필요하다.