저비용 분산 감소를 통한 가치 기반 프로세스 검증기 개선

초록

본 논문은 수학 추론에서 사용되는 가치 기반 프로세스 검증기의 학습 라벨이 Monte Carlo 샘플링에 의해 추정되는 과정에서 발생하는 높은 분산을 주요 원인으로 규명한다. MC 추정량이 최소 분산 무편향 추정량(MVUE)임을 증명한 뒤, 현재 단계와 다음 단계의 MC 추정값을 선형 결합하는 “Compound Monte Carlo Sampling”(ComMCS) 방법을 제안한다. 이 방법은 추가 LLM 추론 비용 없이 편향을 유지하면서 분산을 예측 가능하게 감소시킨다. MATH‑500 및 GSM8K 벤치마크에서 기존 회귀 기반 및 비분산 감소 기반 검증기 대비 2~3점 향상을 기록한다.

상세 분석

이 연구는 LLM 기반 수학 추론에서 “값 기반 프로세스 검증기”(value‑based process verifier)의 학습 라벨이 Monte Carlo(MC) 샘플링을 통해 얻어지는 성공률 추정치라는 점에 주목한다. 기존 연구들은 샘플 수가 제한적이어서 라벨이 노이즈가 많고, 이는 검증기 성능 저하로 이어진다고 보았다. 저자들은 먼저 이 노이즈가 편향이 아니라 분산에서 비롯된다는 것을 이론적으로 증명한다. 구체적으로, 수학 문제의 최종 정답이 0·1 이진값으로 표현될 수 있음을 이용해 MC 추정이 이항분포 B(N, p)에서 표본을 뽑는 과정과 동등함을 보이고, 이때 샘플 평균이 최소 분산 무편향 추정량(MVUE)임을 정리 4.2를 통해 제시한다.

MVUE 특성상 기존 샘플 수(N)만으로는 분산을 더 낮출 수 없으므로, 저자는 “추가 정보”를 활용하는 방안을 모색한다. 여기서 영감을 얻은 것이 강화학습의 Temporal Difference(TD) 학습이다. TD는 미래 상태의 가치 추정치를 현재 가치 업데이트에 이용해 분산을 감소시키는 원리를 갖는다. 이를 프로세스 검증기에 적용하기 위해, 현재 단계의 MC 추정값 ˆV(s_t)와 다음 단계의 MC 추정값 ˆV(s_{t+1})을 선형 결합한다:

\