다중언어 비전‑언어 모델의 반사실 환각: 문화적 편향과 새로운 평가 지표

초록

본 논문은 중동·북아프리카(MENA) 지역 이미지와 영어·표준 아라비아어·방언을 결합한 M2CQA 벤치마크를 제시하고, “정답을 맞춘 뒤에도 반사실 문장을 받아들이는 비율”인 CounterFactual Hallucination Rate(CFHR)를 도입한다. 최신 비전‑언어 모델들을 다양한 프롬프트 방식으로 평가한 결과, 아라비아어 특히 방언에서 CFHR가 급격히 상승함을 발견하였다.

상세 분석

이 연구는 비전‑언어 모델(VLM)의 “정확도만으로는 드러나지 않는” 문화적 편향에 따른 환각 현상을 정량화하려는 시도이다. 기존 환각 벤치마크가 서구 중심 이미지와 영어 질문에 국한된 반면, M2CQA는 17개 MENA 국가의 이미지(건축, 전통 의복, 시장 등)를 수집하고, 각 이미지마다 하나의 진실 진술(Q⁺)과 두 개의 문화적으로 그럴듯하지만 시각적으로 부합하지 않는 반사실 진술(Q⁻)을 영어, 현대 표준 아라비아어(MSA), 이집트·레반트 방언으로 번역한다. 질문‑답변 쌍은 GPT‑4.1을 이용해 자동 생성하고, 텍스트‑전용 모델이 이미지 없이도 정답을 맞출 경우를 필터링해 시각적 근거 의존성을 강화하였다.

핵심 메트릭인 CFHR는 “Q⁺를 올바르게 맞춘 경우에 한해, Q⁻를 잘못 받아들이는 비율”로 정의된다. 수식적으로는 CFHR = (Acc(Q⁺) – Acc(combined)) / Acc(Q⁺)이며, 여기서 Acc(combined)는 Q⁺와 모든 Q⁻를 동시에 맞춘 정확도이다. 이 조건부 측정은 모델이 실제로 이미지를 이해했음에도 불구하고 문화적 선입견에 의해 잘못된 대안을 선택하는 상황을 포착한다.

실험에서는 Qwen‑VL, Gemma‑VL 등 다국어 모델과 Fanar‑Oryx, AIN 등 아라비아어 특화 모델을 2B~32B 규모로 평가했다. 프롬프트는 (1) True/False 직접 질의, (2) Answer‑then‑Reason(답변 후 근거 제시), (3) Reasoning‑First(추론 후 답변) 세 가지 형태로 구성하였다. 주요 발견은 다음과 같다. 첫째, 전통적인 정확도(Q⁺, Q⁻, F1)는 모델이 높은 Q⁺ 정확도를 보이더라도 높은 CFHR를 숨길 수 있음을 보여준다. 둘째, 언어가 변할수록 CFHR가 증가하는데, 특히 방언에서는 Q⁺ 정확도가 유지되면서도 CFHR가 급등한다. 이는 방언 특유의 어휘·형태 변이가 모델의 언어 이해를 약화시키고, 문화적 선입견에 더 쉽게 노출된다는 증거이다. 셋째, 프롬프트 전략이 큰 영향을 미친다. Answer‑then‑Reason는 모델이 근거를 명시하도록 강제해 CFHR를 낮추는 반면, Reasoning‑First는 추론 과정에서 문화적 연관성을 과도하게 활용하게 만들어 CFHR를 상승시킨다. 넷째, 모델 규모 확대는 전반적으로 CFHR를 감소시키지만, 효과는 모델 패밀리마다 다르다. Qwen‑3‑VL는 규모가 커질수록 CFHR가 크게 감소하는 반면, Gemma‑3‑VL은 일정 규모 이후 포화 현상을 보인다.

이러한 결과는 다문화·다언어 환경에서 VLM을 실제 서비스에 적용할 때, 단순 정확도 외에 조건부 환각 지표를 반드시 고려해야 함을 시사한다. 특히 방언 처리와 프롬프트 설계가 모델의 문화적 신뢰성에 결정적인 역할을 한다는 점은 향후 데이터 수집·모델 학습 전략에 중요한 인사이트를 제공한다.