멀티모달·멀티태스크·멀티기준 자동 평가를 위한 HarmonicEval과 MMHE 벤치마크

초록

본 논문은 비전‑언어 모델(VLM) 기반 텍스트 생성 품질을 다중 기준·다중 과제에 걸쳐 평가할 수 있는 참조‑없는 메트릭 HarmonicEval을 제안한다. 기준별 점수를 VLM에 프롬프트로 얻고, 토큰 확률의 1차·2차 통계에 기반한 조화 가중합으로 전체 점수를 산출한다. 또한 네 가지 멀티모달 과제(REF, VQA, VDU, 이미지 캡션)와 다섯 가지 평가 기준(정확성, 완전성, 유창성, 간결성, 명료성)에 대해 18,000개의 전문가 인간 판단을 수집한 MMHE 벤치마크를 구축하였다. 실험 결과 HarmonicEval은 기존 n‑gram 및 신경망 기반 메트릭보다 인간 판단과의 상관관계와 전체 정확도에서 우수함을 보였다.

상세 분석

HarmonicEval은 두 단계 파이프라인으로 설계되었다. 첫 번째 단계인 기준별 점수 획득에서는 VLM을 평가자로 활용해 “정확성”, “완전성”, “유창성”, “간결성”, “명료성”이라는 다섯 가지 기준마다 별도 프롬프트를 제공한다. 입력 텍스트와 이미지(또는 질문 등)를 결합한 프롬프트에 대해 VLM이 1~5점 척도의 토큰 확률 분포를 출력하고, 이 확률을 첫 번째 통계인 평균값으로 스무딩해 ˜s_c 를 얻는다. 두 번째 단계인 점수 집계에서는 각 기준의 확률 분포의 표준편차 σ_c 를 계산해 두 번째 통계인 분산을 추정한다. HarmonicEval은 σ_c⁻²(1‑γ)/γ 형태의 가중치를 조화 평균(H)으로 정규화하여 w_c 를 구하고, 전체 점수 S = Σ_c w_c·˜s_c 로 합산한다. γ 파라미터는 가중치 전략을 조정하는데, γ=1이면 균등 가중, γ=0.5이면 역분산 가중, γ→0이면 최소 분산 기준만 선택한다. 논문에서는 γ=0.75를 기본값으로 채택해, 각 기준의 신뢰도 차이를 반영하면서도 과도한 편향을 방지한다.

MMHE 벤치마크는 기존 이미지 캡션·VQA·문서 이해·객체 지시 등 네 가지 과제를 선택하고, 각 과제당 100개의 샘플에 대해 세 개의 최신 VLM(LLaVA, InstructBLIP, Qwen‑VL, GPT‑4o 등) 출력을 수집했다. 이후 5명의 전문가가 각 출력에 대해 다섯 기준을 5점 척도로 평가했으며, 동일 샘플당 3명의 독립 평가를 통해 총 18,000개의 인간 라벨을 확보했다. 평가 결과, 정확성과 완전성은 과제마다 큰 변동성을 보였고, 유창성은 대부분 5점에 몰려 상대적으로 편향이 적었다. 이는 기존 메트릭이 “유창성”에 과도히 의존해 과제별 특성을 반영하지 못하는 문제를 드러낸다.

실험에서는 BLEU, ROUGE, CIDEr, METEOR, BERTScore, CLIPScore, G‑VEval, FLEUR 등 9개의 기존 메트릭을 비교 대상으로 삼았다. 전체 정확도(Overall Accuracy)와 기준별 Kendall’s τ를 기준으로 HarmonicEval이 모든 과제에서 최고 성능을 기록했으며, 특히 REG(66.6%), VQA(76.4%), IC(77.0%)에서 두드러진 우위를 보였다. GPT‑FLEUR가 VDU에서 약간 앞섰지만, 다중 과제 전반에서는 HarmonicEval이 보다 일관된 성능을 제공한다. 가중치 γ를 변형한 실험에서는 γ=0.75가 가장 높은 인간 상관을 달성했으며, γ=1(균등)보다 약 2~3% 개선된 결과를 보여 가중치 조정의 효과를 입증했다.

이 논문은 (1) 기준별 VLM 프롬프트 설계와 확률 기반 스무딩을 통한 신뢰성 높은 점수 추출, (2) 두 번째 통계에 기반한 조화 가중합으로 전체 점수를 자동 조정, (3) 다중 과제·다중 기준 인간 평가 데이터를 제공하는 MMHE 벤치마크라는 세 축을 통해 자동 평가 메트릭의 일반화 가능성을 크게 확장했다는 점에서 의의가 크다. 또한, HarmonicEval은 기존 메트릭이 놓치기 쉬운 “간결성”·“명료성” 같은 세부 기준을 정량화함으로써 모델 개선 방향을 구체적으로 제시한다.