LLM 평가의 숨은 편향 인간 요약과 겹침 정도가 판단에 미치는 영향

초록

본 논문은 요약 평가에서 LLM 판정자가 인간 요약과의 n‑gram 겹침 정도에 따라 다른 LLM이 만든 요약을 선호하는 현상을 분석한다. 9개의 최신 LLM을 대상으로 ROUGE·BLEU와 위치 편향을 조절한 실험을 수행했으며, 겹침이 낮을수록 기계 생성 요약을 선택하는 경향이 강화됨을 발견했다.

상세 분석

이 연구는 LLM‑as‑a‑judge 패러다임의 미세한 편향을 정량화하려는 시도로, 기존 연구가 주로 전체 성능 상관관계에 머물렀던 점을 넘어 n‑gram 겹침이라는 구체적 지표와 판정자의 선택 행동을 연결한다. 실험에 사용된 9개 모델은 1 B에서 12 B 파라미터까지 다양하며, Gemma 3와 LLaMA 3 계열을 포함한다. 요약 생성 단계에서는 원문을 100 단어로 제한해 인간 요약과 길이 일치를 강제하고, 추가적으로 인간 요약을 재구성·재표현하여 겹침 점수의 분포를 확대하였다. 판정 단계에서는 두 요약을 무작위 순서로 제시하고, “ground truth”와 “generated” 선택을 기록했으며, 순서가 바뀌어도 일관된 선택을 “tied”로 분류하였다. 결과는 대부분의 모델이 인간 요약을 거의 선택하지 않으며, 겹침 점수가 낮을수록(왼쪽 구간) 기계 생성 요약을 선택하는 비율이 급격히 상승한다는 점을 보여준다. 특히 파라미터 규모가 큰 모델은 마지막에 제시된 요약을, 작은 모델은 첫 번째 요약을 선호하는 위치 편향을 보였지만, 이러한 편향과는 별개로 “generated” 선호 현상은 일관되게 나타났다. 즉, LLM 판정자는 인간과의 표면적 유사성이 낮을수록 자체 혹은 동료 모델의 스타일을 더 긍정적으로 평가한다는 잠재적 스타일 마커가 존재한다는 가설을 뒷받침한다. 이러한 편향은 자동 평가의 신뢰성을 저해할 뿐 아니라, LLM 탐지 등 다른 응용에서도 활용 가능성을 시사한다. 논문은 길이와 순서 편향을 통제했음에도 불구하고 편향이 지속되는 점을 강조하며, 향후 평가 프롬프트 설계·다중 레퍼런스 활용·다양한 겹침 지표 도입이 필요함을 제안한다.