탐색 병목을 깨는 루브릭 스캐폴드 강화학습

초록

본 논문은 루브릭을 활용한 두 가지 역할(탐색용 스캐폴드와 검증 가능한 보상)로 LLM의 강화학습(RL) 탐색 병목을 해소하는 RuscaRL 프레임워크를 제안한다. 체크리스트형 루브릭을 점진적으로 감소시키며 모델이 자체적인 추론 능력을 내재화하도록 유도하고, 루브릭 기반 점수를 보상으로 사용해 일반 추론 작업에서 뛰어난 성능을 달성한다.

상세 분석

RuscaRL은 “탐색‑활용” 딜레마를 해결하기 위해 루브릭을 두 가지 방식으로 활용한다. 첫 번째는 롤아웃 생성 단계에서 루브릭을 외부 가이드로 삽입해 모델이 다양한 고품질 답변을 탐색하도록 돕는 ‘스캐폴드’ 역할이다. 여기서는 같은 그룹 내 샘플마다 루브릭 적용 비율 λ group을 선형적으로 차등 부여해(λ_i = (G‑i)/(G‑1)) 강한 가이드가 필요한 샘플과 약한 가이드가 필요한 샘플을 동시에 생성한다. 두 번째는 학습 진행에 따라 스캐폴드 강도를 시그모이드 형태의 λ step(t) = 1/(1+e^{α(t‑t₀)}) 로 점진적으로 감소시켜, 모델이 점차 외부 의존도를 낮추고 자체적인 추론 패턴을 내재화하도록 설계했다.

보상 측면에서는 루브릭을 ‘검증 가능한 보상’으로 전환한다. 루브릭 R = {c₁,…,c_N}은 각 기준 c_i와 가중치 p_i(양·음점)으로 구성된다. 각 기준에 대해 LLM‑as‑Judge가 이진 판단 b_i∈{0,1}을 내리고, 이를 p_i와 곱해 점수 s_i = b_i·p_i를 얻는다. 전체 점수는 Σ s_i를 총점 Σ p_i 로 정규화해 스칼라 보상 r을 만든다. 이렇게 얻은 r은 그룹 기반 어드밴티지 ˆA_i = (r_i − mean(r))/std(r) 로 정규화돼 GRPO(Group Relative Policy Optimization) 목표 함수에 삽입된다. GRPO는 PPO와 달리 가치 모델 없이 토큰‑레벨 중요도 비율 ρ_i,t와 클리핑을 이용해 정책을 직접 최적화한다.

실험에서는 HealthBench‑500, CodeEval, MathProof 등 다양한 오픈‑엔드 베치마크에 RuscaRL을 적용했으며, ‘Best‑of‑N’ 평가에서 기존 SOTA 모델(DeepSeek‑R1, GPT‑4 등)을 능가하거나 동등한 성능을 보였다. 특히 Qwen3‑30B‑A3B‑Instruct와 같은 중소형 모델이 루브릭 스캐폴드와 보상 덕분에 OpenAI‑o3 수준에 도달한 점이 주목할 만하다. Ablation 연구에서는 (1) 스캐폴드 차등 없이 동일 루브릭을 적용했을 때 탐색 다양성이 급격히 감소하고, (2) 스캐폴드 감소 없이 고정 비율을 유지하면 정책이 루브릭에 과도히 의존해 일반화가 저하되는 것을 확인했다.

한계점으로는 (i) 루브릭 설계에 인간 전문가가 개입해야 하는 비용, (ii) LLM‑as‑Judge 자체의 편향이 보상에 전이될 가능성, (iii) 현재는 토큰‑레벨 정책 업데이트에 초점을 맞추어 구조적 추론(예: 트리‑형 논증)에는 아직 최적화되지 않았다는 점을 들 수 있다. 향후 연구에서는 자동 루브릭 생성, 다중‑모달 평가, 그리고 트리‑구조 정책과의 결합을 통해 더욱 일반화된 추론 능력을 탐구할 계획이다.