보상 모델 해석: 최적 및 최악 토큰을 통한 분석

초록

**
본 연구는 가치‑중심 프롬프트에 대해 보상 모델이 단일 토큰에 부여하는 점수를 전수 조사함으로써, 모델 간 이질성, 고점수와 저점수 토큰의 비대칭성, 프롬프트 프레이밍에 따른 인간 인지 편향 반영, 그리고 빈도 높은 토큰에 대한 과대평가 현상을 밝혀낸다. 10개의 최신 오픈‑소스 보상 모델을 대상으로 실험했으며, 이들 모델이 인간 가치와 복잡한 맥락을 완벽히 대변하지 못하고, 특정 정체성 그룹에 대한 편향을 내포할 가능성을 경고한다.

**

상세 분석

**
본 논문은 보상 모델(RM)의 내부 작동 방식을 “단일 토큰 스코어링”이라는 새로운 해석 프레임워크로 접근한다. 기존 연구가 주로 전체 문장 혹은 대규모 샘플에 대한 평균 점수에 초점을 맞추었던 것과 달리, 저자들은 모든 가능한 어휘(대략 50,000개 토큰)를 하나씩 입력해 각각의 점수를 측정함으로써, 토큰 수준에서의 스코어 분포와 구조를 정밀히 파악한다.

첫 번째 주요 발견은 동일한 훈련 목표(예: 인간 피드백을 통한 정렬)를 갖는 모델들 사이에서도 점수 패턴이 크게 다르다는 점이다. 모델 아키텍처(Transformer‑based, LLaMA, GPT‑Neo 등)와 파라미터 규모(2B~70B)뿐 아니라, 사전 훈련 데이터와 미세 조정 단계에서 사용된 “무해성”(harmlessness) 데이터의 차이가 토큰 스코어에 비선형적인 영향을 미친다. 특히, 작은 모델은 고빈도 토큰에 과도하게 높은 점수를 부여하고, 드문 토큰은 저평가하는 경향을 보인다.

두 번째로, 고점수 토큰(‘optimal tokens’)과 저점수 토큰(‘pessimal tokens’) 사이에 비대칭적인 구조가 존재한다. 고점수 토큰은 의미적으로 긍정적이거나 사회적으로 수용된 표현에 집중되는 반면, 저점수 토큰은 부정적, 공격적, 혹은 문화적 민감성을 가진 단어들에 집중된다. 그러나 저점수 영역은 고점수 영역보다 폭이 넓고, 동일한 프롬프트에 대해 저점수 토큰이 다양하게 분포한다는 점에서 모델이 “위험”을 회피하려는 경향이 과도하게 작동함을 시사한다.

세 번째 발견은 프롬프트 프레이밍이 점수에 미치는 영향이다. 동일한 질문을 “당신은 어떻게 생각하나요?”와 “당신은 왜 그렇게 생각하나요?”와 같이 미묘하게 바꾸면, 모델이 선호하는 토큰이 크게 변한다. 이는 인간의 인지 편향(예: 프레이밍 효과)이 보상 모델에 그대로 전이된다는 증거이며, 모델이 프롬프트의 어조와 맥락을 과도하게 해석해 가치 판단을 왜곡할 수 있음을 보여준다.

마지막으로, 모델들은 특정 정체성 그룹(성별, 인종, 종교 등)에 대한 편향을 내포하고 있다. 예를 들어, ‘여성’과 연관된 토큰이 과도하게 낮은 점수를 받거나, ‘특정 인종’과 연관된 토큰이 고점수 영역에 비정상적으로 몰려 있는 경우가 관찰되었다. 이러한 편향은 “무해성” 훈련 단계에서 부정적 표현을 억제하려는 과정에서 부작용으로 발생한 것으로 추정된다.

전체적으로, 저자들은 보상 모델이 인간 가치의 복잡성을 완전히 포착하지 못하고, 토큰 수준에서의 미세한 편향과 구조적 결함이 downstream LLM에 전파될 위험을 강조한다. 제안된 토큰‑전수 분석 방법은 모델 선택, 디버깅, 그리고 향후 보상 모델 설계 시 편향 완화 전략을 검증하는 강력한 도구가 될 수 있다.

**