보상 모델이 좋은 교사가 되기 위한 조건: 정확도 그 이상, 변동성 필요

초록

RLHF에서 보상 모델의 품질을 단순히 정확도로만 평가하면 안 된다. 논문은 보상 모델이 생성하는 보상 분산이 낮으면 목표 함수가 평탄해져 정책 그래디언트가 매우 느리게 수렴한다는 이론을 제시한다. 정확도가 높아도 보상 분산이 부족하면 최적화가 지연되고, 반대로 정확도가 다소 낮아도 분산이 크면 더 빠른 학습이 가능하다. 또한 같은 보상 모델이라도 다른 언어 모델에 대해 보상 분산이 달라질 수 있음을 보인다. 실험은 8B 규모 모델까지 확장해 이론을 검증한다.

상세 분석

이 논문은 RLHF 파이프라인을 “보상 모델 → 정책 최적화”라는 두 단계로 보는 전통적 관점을 유지하면서, 보상 모델의 평가 지표를 재정의한다. 기존 연구에서는 보상 모델의 정확도(ground‑truth 보상을 순위대로 맞추는 비율)만을 사용했지만, 저자는 보상 분산(reward variance)이라는 새로운 메트릭을 도입한다. 보상 분산은 특정 프롬프트와 현재 정책이 생성하는 출력들 사이에서 보상값이 얼마나 퍼져 있는지를 측정한다. 수식적으로는
\