LLM 판사 평가의 편향을 바로잡는 방법

초록

LLM을 평가자(판사)로 사용할 때 발생하는 민감도·특이도에 기인한 편향을 수학적으로 보정하고, 테스트와 캘리브레이션 데이터 모두의 불확실성을 반영한 신뢰구간을 제공한다. 또한 캘리브레이션 샘플을 적응적으로 배분해 구간 길이를 최소화하고, 분포 이동 상황에서도 편향이 없음을 증명한다.

상세 분석

본 논문은 LLM을 인간 대신 평가자로 활용할 때 발생하는 근본적인 통계적 문제를 명확히 규정한다. LLM 판사의 민감도 (q_1) (정답을 올바르게 ‘정답’으로 판단할 확률)와 특이도 (q_0) (오답을 올바르게 ‘오답’으로 판단할 확률)가 1이 아닐 경우, 단순히 LLM이 출력한 ‘정답’ 비율 (\hat p) 은 실제 정확도 (\theta) 에 대해 편향된 추정량이 된다. 저자는 이 편향을 고전적인 Rogan‑Gladen 보정식
\