외부 타당성을 위한 이중강건 LLM‑판단자: 불완전 페르소나와 샘플링 편향 통합

초록

본 논문은 평가 샘플링 편향(공변량 이동·선택 편향) 하에서 LLM을 인간 평가자 역할을 하게 하는 “페르소나” 점수를 활용해, 인간 라벨과 결합한 이중강건 추정기를 제안한다. 페르소나 점수는 불완전하지만 보조 변수로 사용해 예측 모델과 가중치 모델 중 하나만 충분히 정확하면 목표 시스템 품질(예: 평균 도움성) 추정이 통계적으로 유효함을 보인다. 이론적 증명과 ‘Persona Simulation Framework’를 통한 실험에서 기존 PPI·RePPI 대비 커버리지와 편향이 크게 개선됨을 확인한다.

상세 분석

이 논문은 현재 GenAI 평가에서 흔히 발생하는 두 종류의 샘플링 편향, 즉 소스(실험)와 타깃(실제 서비스) 사이의 공변량 이동과 라벨 결측이 rater·content 특성에 의존하는 선택 편향을 동시에 고려한다. 기존 PPI·RePPI 계열은 i.i.d.와 MCAR 가정을 전제로 하여 이러한 편향을 보정하지 못하고, 특히 선택 편향이 존재할 때 심각한 커버리지 손실을 보인다. 저자는 이를 해결하기 위해 “persona‑based rating”이라는 새로운 보조 정보를 도입한다. 구체적으로 LLM‑as‑judge에 인구통계·전문성 프롬프트를 삽입해 가상의 인간 평가자를 시뮬레이션하고, 이를 ˆY라는 서브스코어로 얻는다. 이 서브스코어는 인간 라벨 Y와 완전 일치하지 않지만, Y와 충분히 상관관계가 있으면 예측 함수 μ₀(W)=E