LLM 평가자의 자기선호 편향, 진짜 나르시시즘인가

초록

본 논문은 LLM이 자신이 만든 답변을 선호한다는 기존 주장에 내재된 실험적 혼동을 밝혀낸다. 저자들은 평가자가 스스로 잘못된 답을 만든 경우에 자기선호가 발생한다는 ‘평가 품질 기준(Evaluator Quality Baseline)’을 제안하고, 37 448개의 쿼리에 적용해 기존 결과의 절반 이상이 통계적으로 유의하지 않음을 보여준다. 또한 ‘쉬운’와 ‘어려운’ 평가 상황에서 엔트로피 기반 불확실성을 분석해 자기선호가 불확실성에 의해 크게 좌우된다는 증거를 제시한다.

상세 분석

이 연구는 LLM 평가자의 자기선호 현상을 정량화하고, 그 원인을 정확히 분리하기 위해 두 단계의 방법론을 도입한다. 첫 번째는 기존 편향 측정식 Bias = SP − Acc를 ILSP(불합격시 자기선호)와 LSP(정답시 자기선호)로 분해함으로써, 실제 문제는 ILSP에만 존재한다는 점을 명확히 한다. 여기서 ILSP는 평가자가 자신이 만든 답변이 객관적으로 틀렸음에도 불구하고 그 답변을 선택하는 경우를 의미한다. 두 번째는 ‘Evaluator Quality Baseline’를 정의한다. 동일한 정답(oracle) 라벨을 가진 다른 모델 K의 답변을 찾아, 평가자 J가 자신의 답변(o_J)과 K의 답변(o_K)을 각각 평가했을 때의 확률 차이 Δs_J = s_J(o_J) − s_J(o_K)를 평균해 T_quality를 산출한다. 이 통계량이 0보다 크게 나오면 J가 자기 자신의 답변을 과도하게 선호한다는 증거가 된다.
실험에서는 9개의 데이터셋과 16개의 모델을 대상으로, 각 예제마다 J와 K가 동일한 ‘성능 수준’(oracle 라벨 일치)을 갖도록 매칭한다. 이렇게 하면 평가 난이도와 불확실성은 동일하지만 ‘자기’라는 요소만 차이로 남는다. 결과는 37 448개의 쿼리 중 51 %만이 기존 보고된 자기선호 편향을 통계적으로 유지했으며, 평균적으로 89.6 %의 편향이 평가자 불확실성에 기인함을 보여준다.
또한, 체인‑오브‑생각(COT) 프롬프트를 적용해도 편향 감소 효과는 미미했으며, 엔트로피 분석을 통해 ‘어려운’ 예제일수록 평가자의 확률 분포가 더 균일해져 자기선호가 무작위에 가까워짐을 확인했다. 이는 평가자가 자신의 능력 한계를 인식하고, 정답을 모를 때는 자신의 답변을 무작위로 선택한다는 가설을 뒷받침한다. 전체적으로 이 논문은 기존 연구가 과대평가한 ‘나르시시즘’ 현상을, 평가 품질과 불확실성이라는 보다 근본적인 요인으로 재해석한다는 점에서 의미가 크다.