LLM 평가자의 한계와 가능성: 프롬프트 상세도와 퍼플렉시티의 영향

초록

본 논문은 LLM을 인간 평가자를 대신하는 “LLM‑as‑a‑judge” 방식의 신뢰성을 검증한다. 4단계 프롬프트(무프롬프트·일반·기준명시·전체루브릭)와 퍼플렉시티 기반 무프롬프트 방식을 비교해 8개 벤치마크(요약, 대화, 창작, 추론 등)와 4개 모델(GPT‑4, Llama‑3, Mistral, Phi‑3)에서 인간 주관점과의 피어슨 상관을 측정한다. 결과는 상세 루브릭이 상관을 최대 4% 정도만 개선하고, 텍스트 품질 평가에서는 퍼플렉시티가 종종 인간 평가와 더 높은 일치를 보임을 보여준다.

상세 분석

본 연구는 LLM‑as‑a‑judge가 실제 인간 평가와 얼마나 일치하는지를 체계적으로 조사한다는 점에서 의미가 크다. 먼저 저자들은 현재 자동 평가에 널리 사용되는 34개의 품질 기준을 4개의 대분류(내용, 참여, 무결성, 관련성)로 정리한 ‘품질 기준 taxonomy’를 제시한다. 이는 향후 평가 연구에서 기준 선택과 비교를 표준화하는 데 기여한다.

프롬프트 설계는 ‘퍼플렉시티(프롬프트 없음)’, ‘일반 품질 프롬프트’, ‘특정 기준 프롬프트’, ‘전체 루브릭 프롬프트’ 네 단계로 구분된다. 퍼플렉시티는 모델이 입력 텍스트 자체의 확률을 계산하도록 하여 프롬프트 편향을 배제한다. 반면, 루브릭 프롬프트는 인간이 만든 상세 채점 기준과 점수 할당 규칙을 그대로 제공한다.

실험에서는 GPT‑4‑Turbo, Llama‑3‑70B, Llama‑3‑8B, Mistral‑v0.3, Phi‑3‑Medium 등 5가지 모델을 8개 데이터셋(요약 SummEval, TopicalChat, OpinSummEval, InstruSumm, Hanna, TheNextChapter, Roscoe, Flask)에 적용했다. 각 모델·프롬프트 조합에 대해 인간 어노테이션과의 피어슨 상관을 구했으며, 표 1에 요약된 바와 같이 전반적으로 상세 루브릭이 상관을 0.04 정도만 끌어올렸다. 특히 GPT‑4‑Turbo는 0.414→0.469(퍼플렉시티→전체 루브릭)로 가장 큰 개선을 보였지만, 다른 모델들은 개선 폭이 더 작았다.

흥미로운 점은 텍스트 품질(내용·무결성) 평가에서 퍼플렉시티가 종종 인간 평가와 더 높은 상관(0.51 vs. 0.44)을 기록했다는 것이다. 이는 LLM이 훈련 데이터에 내재된 언어적 ‘품질’ 신호를 그대로 활용할 수 있음을 시사한다. 반면, 복합적인 기준(예: 창의성, 놀라움)에서는 루브릭이 약간 더 유리했다.

결과를 통해 저자들은 (1) 상세 루브릭이 반드시 큰 성능 향상을 보장하지 않으며, (2) 퍼플렉시티가 간단한 텍스트 품질 측정에 강력한 대안이 될 수 있음을 주장한다. 또한 모델 규모·파인튜닝 여부가 프롬프트 민감도에 영향을 주지만, 전반적인 경향은 모델에 따라 크게 달라지지 않는다.

한계점으로는 (가) 인간 어노테이션 자체의 신뢰도와 일관성을 고려하지 않았으며, (나) 퍼플렉시티는 모델이 훈련 데이터와 얼마나 유사한지를 반영하므로 ‘편향된’ 품질 판단을 내릴 위험이 있다. 또한, 현재 실험은 영어 텍스트 중심이며, 다국어·다문화 상황에서의 일반화 가능성은 검증되지 않았다.

향후 연구는 (i) 인간 평가와의 다중 회귀 분석을 통해 각 기준별 가중치를 학습하고, (ii) 프롬프트 설계 자동화 기법을 도입해 최적의 지시문을 생성하는 방안을 모색할 수 있다. 또한, 퍼플렉시티와 프롬프트 기반 점수를 결합한 하이브리드 메트릭을 개발하면, 두 접근법의 장점을 동시에 활용할 가능성이 있다.