컴퓨팅 예산에서 추론을 위한 위험 제어와 적응적 사고

초록

이 논문은 대형 언어 모델(LLM)의 추론 과정에서 토큰 사용량을 동적으로 조절하기 위해 위험 제어(framework)를 도입한다. 상한 임계값은 모델이 충분히 자신있을 때 조기 종료하고, 새롭게 제안된 하한 임계값은 진행이 정체될 경우 조기에 멈춘다. 검증 데이터와 분포에 구애받지 않는 위험 제어 기법을 이용해 두 임계값을 자동으로 설정하고, 여러 예산 제어 기준을 효율성 손실과 결합해 최적의 종료 메커니즘을 선택한다. 실험 결과는 다양한 추론 과제와 모델에서 제시된 방법이 목표 위험 수준을 만족하면서도 토큰 사용을 크게 절감함을 보여준다.

상세 분석

본 연구는 “테스트‑타임 스케일링”이라는 현상을 기반으로, 추론 토큰을 많이 사용할수록 정확도가 향상되는 LLM의 특성을 활용한다. 그러나 실제 서비스에서는 언제까지 생각하게 할지(토큰 예산)와 언제 멈출지(임계값)를 정하는 것이 큰 난제이다. 저자들은 이를 “위험 제어”라는 통계적 프레임워크로 재구성한다. 위험(risk)은 모델이 잘못된 답을 내놓는 확률, 즉 오류율로 정의하고, 사용자는 허용 가능한 위험 수준 ε을 사전에 지정한다.

핵심 아이디어는 두 종류의 위험을 별도로 제어하는 것이다. 첫 번째는 위양성 위험(false‑positive risk)으로, 모델이 정답이라고 확신하고 멈췄지만 실제로는 오답인 경우를 말한다. 이를 제어하기 위해 기존 연구에서 사용하던 상한 임계값 λ⁺를 도입한다. 신뢰도 sₜ가 λ⁺를 초과하면 즉시 종료하고 현재 답을 출력한다. 두 번째는 위음성 위험(false‑negative risk)으로, 모델이 더 이상 진행해도 정답에 도달할 가능성이 낮다고 판단될 때 조기에 멈추는 상황이다. 이를 위해 저자들은 하한 임계값 λ⁻(t; c)를 새롭게 설계한다. λ⁻는 토큰 사용량 ωₜ와 전체 예산 B를 이용해 시그모이드 형태로 정의되며, 파라미터 c가 임계값 곡선의 기울기와 위치를 조절한다. 즉, 진행이 정체될수록 λ⁻가 낮아져 조기 종료가 촉발된다.

위험 제어를 구현하기 위해 네 가지 손실 함수를 정의한다. (1) 위양성 손실 ℓ_upper^FP는 λ⁺를 초과했을 때 정답이 아닌 경우 1을 부여한다. (2) 위음성 손실 ℓ_lower^FN은 λ⁻ 이하가 되면서 이후 T 단계 중 정답을 얻을 가능성이 있을 때 그 남은 단계 수를 가중치로 부여한다. (3) 상한 효율 손실 ℓ_upper^eff는 정답을 얻은 시점 t′ 이후 남은 토큰을 낭비한 비율로 측정한다. (4) 하한 효율 손실 ℓ_lower^eff는 현재까지 진행된 단계 중 정답이 전혀 나오지 않은 비율을 나타낸다. 이러한 손실을 통해 “정확도‑효율성 트레이드오프”를 정량화하고, 사용자가 지정한 위험 ε 이하가 되도록 임계값 파라미터 λ⁺, c 를 검증 집합에 대해 분포‑프리 위험 제어 알고리즘(예: conformal prediction 기반)으로 최적화한다.

다중 예산 제어 기준(예: 토큰 수, 시간, 메모리)에도 대응하기 위해 효율성 손실을 가중합한 복합 목표 함수를 정의하고, 각 종료 메커니즘(상한, 하한, 혹은 두 개의 앙상블) 중 가장 효율적인 것을 선택한다. 알고리즘 1은 검증 데이터와 후보 임계값 그리드를 입력으로 받아, 위험 제약을 만족하면서 최소 효율 손실을 갖는 파라미터 조합을 탐색한다.

실험에서는 AIME 수학 문제, 인간 최종 시험(Humanity’s Last Exam) 등 다양한 고난이도 추론 벤치마크와 Qwen‑3‑8B, GPT‑4‑Turbo 등 여러 모델을 대상으로 평가한다. 결과는 (i) 동일 위험 ε 하에서 기존 단일 상한 방식보다 평균 토큰 사용량이 15‑30% 감소하고, (ii) 하한 임계값을 도입했을 때 특히 해결 불가능한(unsolvable) 인스턴스에서 토큰 낭비가 크게 줄어든다. 또한, 두 임계값을 결합한 앙상블 종료 전략이 가장 일관된 효율성을 보이며, 위험 목표를 초과하지 않는다는 정량적 보장을 제공한다.

이 논문의 주요 기여는 (1) 위험 제어 관점에서 해석 가능한 예산 설정 방법을 제시하고, (2) 하한 임계값이라는 새로운 조기 종료 메커니즘을 도입했으며, (3) 다중 예산 기준을 통합하는 효율성 손실 프레임워크를 구축했다는 점이다. 한계점으로는 (a) 검증 데이터에 크게 의존한다는 점, (b) 하한 임계값의 파라미터 c 탐색이 고차원에서 비용이 클 수 있다는 점, (c) 현재는 단일 모델 내부의 추론 흐름만 제어하지만, 다중 모델·다중 단계 파이프라인에 확장하려면 추가 연구가 필요하다는 점을 언급한다. 향후 연구에서는 비정형 신호(예: 메타‑학습 기반 불확실성)와 결합하거나, 온라인 위험 추정 기법을 도입해 실시간 예산 조정에 적용하는 방향을 제시한다.