환각 평가 품질 측정과 고신뢰 벤치마크 HQH

초록

본 논문은 대형 시각‑언어 모델(LVLM)의 환각 현상을 평가하는 기존 벤치마크의 신뢰도와 타당성을 체계적으로 검증한다. 심리측정학의 신뢰·타당성 개념을 차용한 HQM 프레임워크를 제안하고, 6개 기존 벤치마크를 정량적으로 분석한다. 그 결과 폐쇄형(예/아니오, 선택형) 벤치마크는 응답 편향으로 인한 신뢰도 저하, 개방형 벤치마크는 인간 평가와의 불일치로 타당도 문제가 있음을 확인한다. 이를 보완하기 위해 자유형 질문과 엄격한 데이터 검증을 거친 고품질 벤치마크 HQH를 구축하고, 객관적 환각 비율·환각 주장 수를 측정하는 새로운 평가 지표를 제시한다. HQH는 테스트‑재테스트 신뢰도 0.998, 평행형 신뢰도 0.986을 기록하며, 인간 평가와 높은 상관성을 보인다. 최종 실험에서는 주요 LVLM들이 답변뿐 아니라 부가 설명에서도 심각한 환각을 보임을 밝혀, 향후 모델 설계와 안전성 연구의 필요성을 강조한다.

상세 분석

본 연구는 LVLM 환각 평가의 근본적인 품질 문제를 ‘신뢰도’와 ‘타당도’라는 두 축으로 정량화한다. 신뢰도는 테스트‑재테스트와 평행형(form) 두 가지 지표로 측정한다. 테스트‑재테스트는 동일 모델을 동일 벤치마크에 서로 다른 랜덤 시드로 두 번 실행하고, 결과 간 피어슨 상관계수를 산출한다. 높은 상관계수(≈1.0)는 평가가 무작위 요인에 민감하지 않음을 의미한다. 평행형 신뢰도는 질문을 동의어 혹은 반대 형태로 재구성한 ‘평행 버전’과 원본 결과 간 상관을 구한다. 이 지표가 낮으면 프롬프트 설계에 따른 편향이 크게 작용한다는 뜻이다.

타당도는 내용 타당도와 기준 타당도로 나뉜다. 내용 타당도는 데이터셋의 이미지‑질문‑정답 쌍이 설계 의도(객체, 속성, 장면 수준 환각)와 일치하는지를 인간 검증자를 통해 비율로 측정한다. 기준 타당도는 자동 평가 점수와 인간 평가 점수 간 상관을 구해, 자동화된 메트릭이 실제 인간 판단을 얼마나 대변하는지 확인한다.

표 1에서 기존 벤치마크를 평가한 결과, POPE와 AMBER‑Y 같은 폐쇄형 벤치마크는 테스트‑재테스트 신뢰도는 거의 완벽(0.999)하지만 평행형 신뢰도는 0.350.36 수준에 불과해 질문 형태에 크게 좌우된다. 이는 ‘예/아니오’ 질문이 모델의 응답 편향(예: 무조건 ‘예’ 답변) 때문에 결과가 변동함을 보여준다. 반면 OpenCHAIR, MMHal, GAVIE와 같은 개방형 벤치마크는 테스트‑재테스트 신뢰도가 0.880.91으로 낮고, 내용 타당도 역시 0.68~0.79 수준에 머문다. 특히 LLM 기반 자동 채점이 인간 평가와의 상관이 0.75 이하로, 주관적 점수 부여에서 일관성 문제가 크게 드러난다.

이러한 한계를 극복하기 위해 저자들은 HQH 벤치마크를 설계한다. 데이터는 Visual Genome에서 추출한 이미지에 대해 세밀한 존재·수량·속성·관계·환경 질문을 자유형으로 만든다. 모든 쌍은 인간 검수 과정을 거쳐 오류를 제거했으며, 질문 자체가 ‘예/아니오’ 형태가 아니므로 응답 편향이 최소화된다. 평가 메트릭은 두 단계로 구성한다. 첫째, 모델 답변이 정답과 의미적으로 일치하는지 LLM에게 판단하도록 하고, 둘째, 답변 내에 이미지와 불일치하는 주장(환각)들을 추출해 ‘환각 비율’(전체 주장 대비 환각 주장 비율)과 ‘환각 주장 수’를 산출한다. 이 방식은 기존의 CHAIR·OCH와 같은 객체 기반 비율보다 더 포괄적이며, 인간 평가와의 상관이 0.95에 달한다.

HQM을 적용한 결과, HQH는 테스트‑재테스트 0.9977, 평행형 0.9856이라는 거의 완벽에 가까운 신뢰도를 보이며, 내용·기준 타당도에서도 최고 수준을 기록한다. 최종 실험에서는 10여 개의 최신 LVLM(오픈소스 BLIP‑2, InstructBLIP, LLaVA, Shikra 등)과 클로즈드소스 Gemini‑1.5‑Pro, GPT‑4o를 평가했으며, 대부분의 모델이 주요 답변뿐 아니라 부가 설명에서도 평균 30% 이상의 환각 비율을 보였다. 특히 고성능 클로즈드소스 모델조차도 복합 질문에 대해 다중 환각을 생성하는 경향이 확인돼, 단순 정확도만으로는 모델 안전성을 판단하기 어렵다는 점을 강조한다.

결론적으로, 본 논문은 ‘벤치마크 자체의 품질’이 모델 평가의 신뢰성을 좌우한다는 중요한 교훈을 제시하고, HQM·HQH라는 체계적 도구를 통해 향후 LVLM 연구가 보다 견고하고 재현 가능한 방식으로 진행될 수 있음을 증명한다.