생성형 보상 모델의 논리 일관성 강화: R‑Align 접근법

초록

본 논문은 생성형 보상 모델(GenRM)이 정답 라벨은 맞추지만 근거가 잘못된 ‘Spurious Correctness’를 보이는 문제를 제시한다. 저자는 금지된 판단 근거와 일치하도록 이유를 감독하는 R‑Align 훈련 프레임워크를 도입해 S‑Corr 비율을 크게 낮추고, RLHF 단계에서 정책 성능을 전반적으로 향상시킨다.

상세 분석

R‑Align 논문은 현재 RLHF 파이프라인에서 보상 모델이 라벨 정확도만을 최적화하고, 생성된 이유(rationale)의 품질을 전혀 검증하지 않는 구조적 결함을 지적한다. 이를 ‘Spurious Correctness(이하 S‑Corr)’라 명명하고, 라벨은 맞지만 이유가 금지된 판단 근거와 불일치하는 경우를 정량화한다. 저자는 기존 보상 모델 벤치마크(HelpSteer3, RewardBench2, PPE‑Preference)를 재구성해 금리(금) 판단 근거를 Gemini‑3‑Pro 로 자동 생성하고, 메타‑리워드 모델(MetaRM)로 이유 일치 여부를 0/1 이진 판단한다. S‑Corr는 라벨 정확도(L‑Acc)와는 독립적인 지표이며, 높은 S‑Corr 비율을 보이는 모델은 RLHF 단계에서 정책이 표면적 힌트(예: 포맷, 길이)만을 학습해 성능 붕괴를 초래한다는 실험 결과를 제시한다.

R‑Align은 두 가지 핵심 메커니즘으로 S‑Corr를 억제한다. 첫째, 학습 데이터에 금리 판단 근거를 명시적으로 포함해 모델이 “왜” 라는 질문에 올바른 근거를 제공하도록 한다. 둘째, 이유 생성 과정에 직접적인 손실 함수를 부여해 금리와 불일치하는 경우 패널티를 부과한다. 이를 위해 기존 GenRM에 ‘reasoning supervision’ 모듈을 삽입하고, MetaRM을 이용해 자동으로 이유 정합성을 평가한다. 실험에서는 R‑Align을 적용한 8B·14B 규모 모델이 S‑Corr를 30% 이하로 낮추고, F‑Score(라벨·이유 모두 정답)에서 기존 모델 대비 510%p 상승한다. 특히 STEM, 코딩, 지시 수행 등 다양한 다운스트림 태스크에서 RLHF 정책의 평균 점수가 37%p 개선되는 것을 확인했다.

또한, 모델 규모와 ‘thinking’(Chain‑of‑Thought) 프롬프트 사용 여부가 S‑Corr에 미치는 영향을 분석했다. 대형 모델일수록, 그리고 사고 과정을 명시적으로 유도한 변형일수록 S‑Corr가 현저히 감소한다는 패턴을 발견했다. 이는 이유 생성 능력이 모델의 논리적 일관성을 보장하는 핵심 요소임을 시사한다.

전체적으로 논문은 보상 모델 평가에 이유 정합성을 포함시켜야 한다는 강력한 근거를 제시하고, R‑Align이라는 실용적인 학습 프레임워크를 통해 기존 GenRM의 한계를 극복한다는 점에서 RLHF 연구에 중요한 전진을 이룬다.