다중 독립 LLM 평가 프레임워크 MILE‑RefHumEval: 레퍼런스‑프리 인간 정렬 평가

초록

MILE‑RefHumEval은 레퍼런스 없이 LLM 출력을 평가하기 위해, 동일한 인간‑정렬 스키마를 공유하지만 서로 독립적으로 프롬프트된 여러 LLM을 앙상블한다. 작업별 맞춤형 프롬프트와 다중 차원 점수 체계를 통해 이미지 캡션, 요약, 대화 등 다양한 과제에 적용 가능하며, 다수결 혹은 평균을 통해 최종 점수를 산출한다. 실험 결과, 인간 평가와 높은 상관성을 보이며 기존 방법보다 정확도·F1·Kappa·MCC가 개선되고, 쿼리 수는 감소한다.

상세 분석

본 논문은 LLM‑as‑judge 연구의 두 가지 주요 한계, 즉 ‘레퍼런스 의존성’과 ‘평가자 간 상호작용에 의한 편향’에 대한 해결책을 제시한다. 핵심 아이디어는 독립적인 평가자(LLM)들을 다중으로 배치하고, 동일한 인간‑정렬 스키마를 프롬프트에 삽입함으로써 각 평가자가 다른 모델의 출력에 영향을 받지 않도록 하는 것이다. 이를 위해 저자들은 다음과 같은 설계 요소를 도입하였다.

1. 통합 평가 차원(schema) – 각 작업마다 의미론적·형식적 품질을 측정하는 4~6개의 세부 항목(예: 요약에서는 일관성, 유창성, 관련성 등)을 정의하고, 각 항목에 대한 점수 척도와 평가 지침을 명시한다. 이러한 스키마는 인간 평가 기준을 그대로 반영하도록 설계돼, 평가 결과의 해석 가능성을 크게 높인다.

2. 프롬프트 설계 – ‘You are Evaluator “A”’와 같은 역할 지정 문구와 함께, 입력(질문·이미지·대화 기록)과 후보 응답을 명확히 구분하도록 태그(