구조적 사전 주입을 통한 가치 기반 프로세스 검증기 개선

초록

LLM 추론에서 상태 가치를 Monte Carlo 샘플링으로 추정하면 표본 수가 제한될 때 잡음이 크게 발생한다. 본 논문은 스칼라 값 대신 사전 정의된 범주형 분포의 기대값으로 상태 가치를 표현하고, Monte Carlo 결과를 해당 분포의 한 샘플로 간주한다. 이를 통해 샘플링 오류를 “분포 불일치” 문제로 전환하고, 새로 제안한 Statistics‑based Distance 지표로 적절한 구조적 사전을 선택한다. 베스트‑오브‑N 및 Beam‑search 실험에서 평균 1~2점 향상을 달성했으며, 사전 설계에 따라 성능 변동이 크다는 점을 강조한다.

상세 분석

이 논문은 LLM 기반 추론 과정에서 중간 상태의 가치를 추정하는 ‘가치 기반 프로세스 검증기’를 개선하기 위해 두 가지 핵심 아이디어를 제시한다. 첫 번째는 기존의 스칼라 값 추정을 범주형 확률분포의 기대값으로 변환하는 구조적 사전(Structural Prior)이다. 구체적으로, k번의 Monte Carlo 롤아웃을 수행해 얻은 성공 횟수를 Binomial(k, p) 분포의 한 샘플로 해석하고, 이 샘플을 기반으로 사후 분포를 추정한다. 여기서 p는 실제 성공 확률이며, 목표는 제한된 샘플만으로도 p에 가까운 기대값을 복원하는 것이다.

두 번째는 분포 간 차이를 정량화하는 새로운 거리 측정법인 Statistics‑based Distance이다. 이 지표는 두 범주형 분포가 ground‑truth Binomial 분포와 얼마나 일치하는지를 확률적 관점에서 평가한다. 거리값이 작을수록 선택된 구조적 사전이 적절하다고 판단하고, 이를 최적화 목표에 포함시켜 학습을 진행한다. 논문은 두 가지 최적화 경로를 실험한다. 하나는 MSE 손실을 이용한 기대값 회귀(expectation regression)이며, 여기서는 사전 정의된 Dirac‑delta 기반 범주를 사용해 기대값을 직접 최소화한다. 다른 하나는 교차 엔트로피(히스토그램 손실)를 이용해 전체 분포 자체를 맞추는 방법이다. 두 접근법 모두 기존 스칼라 회귀와 동일한 학습 파이프라인을 유지하면서도 구조적 사전이라는 추가 inductive bias를 제공한다.

실험에서는 베스트‑오브‑N 과제와 Beam‑search 과제 두 가지 시나리오에서 성능을 평가한다. 베스트‑오프‑N에서는 여러 후보 답변 중 가장 높은 가치 점수를 가진 답변을 선택하도록 검증기를 훈련시키며, Beam‑search에서는 탐색 중간 단계에서 각 빔의 가치를 예측해 탐색 효율을 높인다. 결과는 구조적 사전을 도입한 모델이 기존 스칼라 기반 모델에 비해 평균 1~2점(예: 정확도, 성공률) 향상을 보였으며, 특히 사전 설계가 잘못될 경우 성능이 크게 저하될 수 있음을 확인한다. 이는 구조적 사전이 단순히 “추가적인 파라미터”가 아니라, 샘플링 잡음을 확률적 모델링으로 정형화함으로써 학습 효율을 높이는 핵심 요소임을 시사한다.

또한, 논문은 한계점도 언급한다. 현재는 Binomial 분포를 전제했지만, 실제 LLM 추론에서는 비정규적 오류 구조나 상관관계가 존재할 수 있다. 따라서 더 복잡한 사전(예: 베타‑분포, 다항분포)이나 다중 단계의 베이지안 업데이트를 고려할 여지가 있다. 마지막으로, 구조적 사전 선택을 자동화하는 메타‑학습 기법이나, 사전 자체를 데이터‑드리븐으로 학습하는 방향도 향후 연구 과제로 제시한다.