비모수적 선호 데이터 기반 대형 언어 모델 평가 프레임워크

초록

본 논문은 인간·자동 평가자의 선호 데이터를 이용해 대형 언어 모델(LLM)을 비교·순위 매기는 비모수적 통계 프레임워크 DMLEval을 제안한다. 핵심은 선호 확률을 직접 함수화한 일반화 평균 순위 점수(GARS)를 정의하고, 디버이즈드 머신러닝(DML) 기법으로 효율적인 추정량과 유효한 신뢰구간을 제공한다. 또한 블랙박스 모델(LLM‑as‑judge)과 결합 가능하며, 예산 제한 하에서 최적 데이터 수집 정책도 제시한다.

상세 분석

DMLEval은 기존의 파라메트릭 브래들리‑터리(BT) 모델이 갖는 모델 미스스펙화와 블랙박스 학습기의 적용 어려움을 극복하기 위해 비모수적 접근을 채택한다. 논문은 먼저 선호 확률 μ_jk^c(x)=P(Y_jk^c=1|X=x)와 선택 확률 π_jk(x)=P(S_jk=1|X=x)를 ‘nuisance functions’라 정의하고, 이들을 직접 이용해 순위 목표 θ를 θ=E