검증 가능한 보상으로 조합 추론을 언제 배울 수 있을까

초록

본 논문은 결과 수준 피드백만을 이용하는 강화학습(RLVR) 환경에서 자동회귀 언어 모델이 복합적인 추론 과정을 학습할 수 있는 조건을 이론적으로 규명한다. 핵심 개념인 “task‑advantage ratio”(작업 이점 비율)를 도입해, 올바른 중간 단계가 최종 검증 성공 확률을 얼마나 높이는지를 정량화한다. 이 비율이 충분히 크면 RLVR이 단계별로 올바른 작업을 강화해 정답 체인을 효율적으로 학습한다는 정리와, 비율이 낮거나 부재할 경우 모델이 잘못된 중간 선택을 지속하며 최적이 아닌 조합에 수렴할 수 있음을 증명한다. 또한 기본 모델의 품질이 이 비율에 미치는 영향을 분석해, 사전 학습된 모델이 충분히 강력하지 않으면 RLVR이 간단한 조합조차 학습하지 못할 수 있음을 보여준다.

상세 분석

논문은 먼저 추론을 “작업 선택(task selection)”의 연속으로 모델링한다. vocab V와 결정론적 작업 집합 T={σ_j}를 정의하고, 각 작업은 현재 프리픽스 x에 대해 하나의 토큰을 결정한다. 모델 파라미터 θ는 각 단계 s와 작업 j에 대응하는 위치 임베딩 h_{s,j}와 선형 결합 형태로 로그잇을 생성한다(식 (1)). 이렇게 하면 파인튜닝은 기존 사전학습된 기능을 고정하고, 작업 선택 확률만 재조정하는 형태가 된다.

RLVR 학습은 REINFORCE와 동일하게, 최종 출력만 검증기 V에 의해 0/1 보상을 받는다. 양성 샘플만을 재샘플링해 사용하고 KL 정규화는 생략한다. 이때 각 단계 s에서 작업 j가 선택될 확률은 π_t(y_s|x_{s-1})이며, 업데이트는 ∇logπ에 보상 V(x_S) 를 곱한 형태이다.

핵심 이론적 기여는 Theorem 5.2에서 도출된 “task‑advantage ratio” A_{s,j}=P(V=1 | A_{s,j}) / P(V=1 | ¬A_{s,j})이다. 즉, 특정 작업을 선택했을 때 최종 검증 성공 확률이 얼마나 증가(또는 감소)하는지를 비율로 나타낸다. 기대 업데이트 방향은 A_{s,j}>1이면 해당 작업을 강화하고, A_{s,j}<1이면 억제한다는 직관적인 결과를 제공한다.

Theorem 5.4는 A_{s,τ(s)}≥1+Δ (Δ>0)인 경우, 즉 올바른 작업 τ(s)가 선택될 때마다 성공 확률이 일정 수준 이상 상승한다면, RLVR이 O(S²) 단계 내에 정확한 체인 오브 씽크(Chain of Thought, CoT)를 수렴함을 증명한다. 여기서 S는 목표 CoT 길이이다. 반대로 A_{s,τ(s)}≈1인 경우, 즉 중간 단계가 최종 성공에 거의 영향을 주지 않으면, 기대 업데이트가 거의 0에 가까워 학습이 정체되거나 잘못된 조합에 머무를 수 있다.

섹션 6에서는 두 가지 구체적 사례를 제시한다. 첫째, “long addition”과 같이 부분 결과가 최종 검증에 직접적인 통계적 이점을 제공하는 문제는 A_{s,τ(s)}가 자연스럽게 크게 된다. 둘째, “sparse parity”와 같이 중간 결과가 검증기에 거의 영향을 주지 않는 문제는 A_{s,τ(s)}≈1에 가까워 학습이 지수적으로 오래 걸리거나 실패한다.

또한 기본 모델의 품질이 A_{s,τ(s)}에 미치는 영향을 분석한다. 사전학습된 모델이 각 작업 σ_j를 어느 정도 정확히 수행할 확률 p_j가 낮으면, 올바른 작업을 선택해도 최종 성공 확률이 충분히 상승하지 않아 A_{s,τ(s)}가 1에 근접한다. 따라서 RLVR이 성공하려면 사전 모델이 각 하위 작업을 어느 정도 수행할 수 있는 “기초 능력”을 가지고 있어야 함을 이론적으로 뒷받침한다.

결과적으로 논문은 RLVR이 단순히 최종 보상만으로도 복합 추론을 학습할 수 있는 조건을 명확히 제시하고, 작업 이점 비율이라는 정량적 지표를 통해 언제 성공하고 언제 실패할지를 예측한다. 이는 실제 LLM에 RLHF·RLVR을 적용할 때, 문제 설계와 사전 모델 선택에 대한 가이드라인을 제공한다.