LLM이 스스로 만든 평가 루브릭, 인간과 얼마나 맞출까

초록

본 논문은 LLM이 평가 루브릭을 자동으로 생성하고 적용하는 GER‑Eval 프레임워크를 제안한다. 네 가지 NLG 벤치마크와 다섯 종류의 모델(GPT‑4o, GPT‑4o‑mini, Mixtral‑8x22B, Llama‑3.3‑70B, Qwen2.5‑72B)을 대상으로 루브릭 생성·적용의 일관성, 인간 루브릭과의 정렬도, 그리고 사실성·지식 집약형 작업에서의 점수 신뢰성을 평가한다. 결과는 LLM이 의미론적으로 일관된, 작업‑특화 루브릭을 만들 수 있지만, 모델 간 정렬은 낮고, 사실성 요구가 높은 상황에서는 점수 신뢰도가 크게 떨어진다는 것을 보여준다. 특히 GPT‑4o 계열은 오픈‑소스 모델보다 내부 일관성과 인간 정렬에서 우수했다.

상세 분석

GER‑Eval은 “루브릭 생성 단계”와 “루브릭 적용 단계”를 명확히 분리함으로써 두 가지 핵심 질문을 검증한다. 첫째, LLM이 주어진 작업 설명(t)과 다양한 프롬프트 조건(단순 과제, 과제+컨텍스트, 과제+대조 예시)에서 얼마나 일관된 평가 기준을 도출하는가? 둘째, 생성된 기준을 그대로 사용해 후보 출력(y)을 점수화할 때 모델 내부에서 점수의 재현성 및 인간 평가와의 상관관계는 어떠한가?

1. 루브릭 생성

   • 모델은 각 기준을 (이름, 정의, 스케일) 삼중항으로 출력하고, 추가로 “점수 지시문”을 생성한다.
   • GPT‑4o와 GPT‑4o‑mini는 90% 이상 고유한 루브릭을 만들어내며, 특히 few‑shot(예시 포함) 프롬프트에서 다양성이 크게 증가한다.
   • Llama‑3.3‑70B와 Qwen2.5‑72B는 생성된 기준이 중복되는 비율이 높고, 인간 루브릭과의 정렬도(Align.%)가 상대적으로 낮다.
   • 도메인별 차이가 뚜렷한데, 대화·지시형 데이터(HelpSteer2, USR)에서는 ‘공감’, ‘예의’ 등 사회적 속성을 포착하는 루브릭이 잘 생성되지만, 의학 요약(SumPubMed)에서는 전문 용어와 사실성 요구가 반영되지 않아 정렬도가 60% 이하로 떨어진다.

2. 루브릭 적용

   • 생성된 루브릭을 그대로 사용해 zero‑shot(루브릭만)과 few‑shot(루브릭+예시) 두 방식으로 점수를 매긴다.
   • 내부 일관성(동일 모델 내 상관계수)은 GPT‑4o가 0.780.84로 가장 높으며, 오픈‑소스 모델은 0.550.68 수준에 머문다.
   • 인간 점수와의 상관관계는 전체적으로 0.45~0.62 정도이며, 특히 사실성·지식 집약형 작업(예: SumPubMed)에서는 0.30 이하로 급락한다. 이는 LLM이 자체 루브릭을 만들 때 ‘사실성’이라는 추상적 기준을 충분히 포착하지 못함을 시사한다.
   • 모델 간 교차 정렬(cross‑model agreement)은 평균 0.42에 불과해, “평가 능력”이 모델마다 크게 다름을 보여준다.

3. 폐쇄형 vs. 오픈형 모델

   • GPT‑4o 계열은 파라미터 규모뿐 아니라 사전 학습 데이터와 정교한 정렬 단계가 포함돼 있어, 인간 루브릭과의 매핑이 높은 편이다.
   • Mixtral은 일부 작업에서 높은 정렬을 보였지만, 전체적인 일관성은 GPT‑4o에 미치지 못한다.
   • Llama와 Qwen은 오픈‑소스 특성상 파라미터는 충분하지만, 정렬 단계가 부족해 인간 기준과의 차이가 크다.

4. 한계와 향후 과제

   • 현재 프레임워크는 “루브릭 생성 → 적용”을 순차적으로 수행하지만, 두 단계가 서로 피드백을 주고받는 순환 구조가 없어서, 생성된 루브릭이 실제 채점에 최적화되지 않을 가능성이 있다.
   • 사실성·지식 요구가 높은 도메인에서는 별도의 외부 지식 검증 모듈을 결합하거나, 인간 라벨과의 공동 학습이 필요하다.
   • 모델 간 정렬을 높이기 위한 메타‑러브릭(모델이 만든 루브릭을 평가하는 또 다른 모델)이나, 인간·LLM 혼합 평가 프레임워크가 제안될 수 있다.

핵심 인사이트

• LLM은 자체적인 평가 기준을 생성할 수 있지만, 이는 모델 내부 표현에 크게 의존해 모델마다 편차가 크다.
• 폐쇄형 대형 모델이 현재 가장 신뢰할 수 있는 “자체 평가자”이며, 오픈‑소스 모델은 추가 정렬 및 지식 보강이 필요하다.
• 평가 자체를 학습 가능한 언어 능력으로 바라보는 접근은 의미가 크지만, 인간 평가와의 일관성을 확보하려면 공동 모델링 및 메타‑평가 메커니즘이 필수적이다.