PRIME: 과정‑결과 정합성 검증을 위한 새로운 수학·공학 벤치마크

초록

PRIME는 최종 답만이 아니라 풀이 과정의 논리적 일관성까지 평가하는 벤치마크로, 2,530개의 고난이도 대학 수준 STEM 문제와 전문가 라벨을 제공한다. 실험 결과 기존 검증기들은 “운 좋은 추측(lucky guess)”을 놓치며, 과정‑결과 정합성을 고려한 RLVR 학습은 AIME·Beyond‑AIME에서 7‑9% 수준의 절대 성능 향상을 달성한다. 또한 PRIME 정확도와 RLVR 효과 사이에 $R^2>0.92$의 강한 선형 상관관계가 확인돼 검증기 선택의 신뢰 지표가 된다.

상세 분석

본 논문은 현재 대부분의 모델 기반 검증기가 “결과 중심(outcome‑centric)”으로 설계돼 최종 답이 정답과 일치하는지만 판단한다는 근본적인 한계를 지적한다. 이러한 패러다임에서는 정답을 맞추었지만 중간 단계에서 논리적 오류가 발생한 경우에도 긍정적인 보상이 주어져, 학습 과정에서 잘못된 추론 패턴이 강화된다. 저자들은 이를 “운 좋은 추측(lucky guess)”이라 명명하고, 전체 응답 중 약 17%가 이 현상에 해당한다는 실증적 근거를 제시한다.

PRIME는 이러한 문제를 해결하기 위해 과정‑결과 정합성(Process‑Outcome Alignment) 검증을 전용으로 설계하였다. 데이터 구축 파이프라인은 다섯 단계로 구성된다. 첫째, 7백만 개 이상의 대학 교재·시험 문제를 수집하고, GPT‑OSS‑120B를 이용해 검증 가능성(uniqueness)과 정답 일관성을 자동 필터링한다. 둘째, 검증된 문제에 대해 16개 세부 분야(예: 위상수학, 유기고분자, 시스템 로보틱스)로 균형 있게 샘플을 재배치한다. 셋째, 다양한 오픈·클로즈드 소스 LRM(예: Qwen‑3‑14B, Gemini‑3‑Pro, Claude‑Sonnet‑4.5 등)으로 각 문제에 대해 하나씩 풀이 궤적을 생성한다. 넷째, GPT‑OSS‑120B를 프록시 검증기로 활용해 8회 반복 검증을 수행하고, 검증 합의 점수(C) 가 0< C <1인 “Hard‑to‑Verify” 샘플만을 최종 평가 집합에 남긴다. 이는 인간 라벨링 비용을 최소화하면서도 검증기의 미세 구분 능력을 극대화한다는 설계 의도다.

마지막 단계에서는 18명의 분야 전문가가 각각 Outcome 라벨(최종 답의 정답 여부) 과 Overall 라벨(과정‑결과 일관성) 을 이중으로 부여한다. Overall 라벨은 과정이 논리적으로 타당하고 최종 답이 정답과 일치할 때만 1로 표기되며, 이는 기존 벤치마크와 달리 “운 좋은 추측”을 명시적으로 차단한다.

벤치마크 평가에서는 20여 개 모델(오픈·클로즈드, 규칙 기반·학습 기반)을 시험했으며, F1 점수 기준 최고 성능은 Qwen‑3‑4B‑thinking‑2507(79.88)이었다. 그러나 전체 평균이 70% 수준에 머무는 등, 현재 검증기들은 과정 오류를 탐지하는 데 여전히 한계가 있음을 보여준다.

이러한 검증기 성능을 바탕으로 과정‑인식 RLVR 파이프라인을 구축하였다. 검증기가 Overall 라벨을 1로 판단할 때만 보상을 부여함으로써, 모델은 올바른 논리 흐름을 학습하게 된다. 실험 결과, Qwen‑3‑14B‑Base 모델에 대해 AIME24, AIME25, Beyond‑AIME에서 각각 8.29%, 9.12%, 7.31%의 절대 성능 향상이 관찰되었다. 특히, 검증기 정확도가 PRIME에서 높을수록 RLVR 개선 효과가 크게 나타났으며, 두 변수 간의 $R^2$가 0.92를 초과하는 강한 선형 상관관계가 확인돼 PRIME가 검증기 선택의 신뢰도 높은 프리‑스크리닝 도구임을 입증한다.

결론적으로, PRIME는 (1) 고난이도·다양한 STEM 분야 커버, (2) 과정‑결과 정합성에 초점, (3) 인간 전문가 라벨링을 통한 고품질 데이터라는 세 축을 갖춘 최초의 벤치마크이며, 향후 RLVR 연구에서 검증기 설계·평가의 표준이 될 잠재력을 지닌다. 또한, “운 좋은 추측”을 체계적으로 드러내는 분석은 기존 모델 기반 검증기의 한계를 명확히 보여주어, 향후 연구가 과정‑중심 검증으로 전환될 필요성을 강력히 시사한다.