새로운 기술인가 날카로운 기본기인가 RLVR에서 추론 등장에 대한 확률적 해석

초록

본 논문은 강화학습 기반 검증 보상(RLVR)이 대형 언어 모델에 새로운 추론 능력을 부여하는지, 아니면 기존의 잠재 기술을 강화하는지에 대한 논쟁을 확률론적 관점에서 재조명한다. 원자 단계의 성공 확률을 향상시켜 다단계 추론 체인의 지수적 성공률 감소를 극복한다는 ‘Multiplicative Barrier’ 가설을 제시하고, Algebrarium 프레임워크를 이용해 원자 연산만 학습시킨 뒤 복합 문제에서의 일반화 성능을 평가한다. 실험 결과는 (1) RLVR이 기존 기술을 증폭해 새로운 해결 경로를 탐색하게 함, (2) 복합 성능이 원자 단계 확률의 곱과 높은 상관관계를 보이며, (3) 전역 보상 최적화 과정에서 일부 기술이 희생될 수 있음을 확인한다.

상세 분석

본 연구는 LLM의 ‘능력’이라는 개념을 인스턴스‑레벨 solvability, 즉 특정 질문에 대해 충분히 많은 샘플을 생성했음에도 정답을 찾지 못한다면 해당 능력이 없다고 정의한다. 이 정의는 기존의 Pass@k와 같은 집합적 지표를 미세하게 분해해 각 문제의 성공 확률 Pθ(q)를 직접 추정하도록 만든다. 논문은 Pθ(q)를 원자 단계 s₁…s_M의 성공 확률들의 곱으로 근사하는 Multiplicative Barrier 모델을 제시한다. 예를 들어 원자 단계 성공 확률이 0.3이라면 5단계 체인의 전체 성공 확률은 0.3⁵≈0.0024가 되어 통계적 존재 한계 ε≈0.023 이하로 떨어진다. 따라서 모델은 개별 원자 작업을 잘 수행하더라도 복합 작업에서는 ‘불가능’ 집합(Nε)으로 분류된다.

RLVR은 이러한 원자 단계에 대해 밀집된 보상 신호를 제공함으로써 각 Pθ(s_j)를 ‘샤프닝’한다. 원자 확률이 충분히 높아지면 (예: 0.7) 곱은 0.7⁵≈0.168이 되어 사전 정의된 δ=0.125(=1/K_min)보다 크게 되며, 문제는 Null Set에서 Feasible Set으로 전이한다. 논문은 이를 ‘확률 증폭을 통한 위상 전이’라고 명명하고, 실제 실험에서 이 전이가 Pass@k 곡선의 급격한 상승으로 관측된다고 주장한다.

또한 논문은 RLVR이 전역 기대 보상을 최대화하는 과정에서 특정 인스턴스의 확률을 높이는 반면, 다른 인스턴스의 확률을 낮출 수 있음을 ‘Capability Erosion’ 현상으로 정의한다. 이는 Pass@k가 낮은 k에서는 상승하지만 높은 k에서는 감소하는 현상으로 설명된다.

실험 설계는 Algebrarium이라는 합성 대수 시스템 생성기를 활용해, 원자 연산(1‑step)만 포함된 학습 데이터와 2‑5 단계 복합 연산만 포함된 테스트 데이터를 만든다. 네 가지 대수 구조(정수, 모듈러 곱, Knitting, Rubik’s Cube) 각각 800개의 테스트 샘플을 깊이별로 stratify하여, 원자‑복합 분리 프로토콜이 모델의 일반화 능력을 정확히 측정하도록 했다. 결과는 (1) 원자 단계 성공 확률이 0.1에서 0.7으로 상승할 때 복합 작업 성공률이 Pearson ρ=0.69~0.96으로 강하게 예측됨, (2) 일부 원자 작업의 성능이 감소하면서 전체 평균 보상이 증가하는 trade‑off가 관찰됨을 보여준다.

이론적 분석과 실험적 증거를 종합하면, RLVR은 새로운 논리 구조를 직접 학습하기보다는 원자 수준의 확률을 높여 복합 추론을 가능하게 하는 ‘증폭 메커니즘’임을 확인한다. 동시에 전역 최적화 목표가 모델의 용량 한계와 맞물려 특정 기술을 희생시킬 수 있음을 경고한다. 이러한 통찰은 RLVR 기반 능력 향상 연구에서 평가 지표 설계와 데이터 구성 전략을 재고하는 데 중요한 시사점을 제공한다.