의료 비전‑언어 모델의 환각 탐지를 위한 통합 시각‑조건부 의미 엔트로피

초록

UniVRSE는 원본 이미지‑텍스트 쌍과 시각적으로 왜곡된 이미지‑텍스트 쌍에서 도출된 의미 예측 분포를 대비해 시각‑조건부 의미 엔트로피를 계산함으로써 의료 VLM의 환각을 효과적으로 탐지한다. VQA에서는 이미지‑질문 쌍에, VRG에서는 보고서를 원자적 주장으로 분해하고 검증 질문을 생성해 주장 수준에서 적용한다. 또한, 정량적 사실 일관성 라벨링을 위한 ALFA 지표를 제안해 벤치마크를 구축하고, 6개 데이터셋·3개 모델에 걸친 실험에서 기존 방법들을 크게 능가함을 보였다.

상세 분석

본 논문은 의료 영상‑언어 모델(VLM)에서 발생하는 ‘환각’—시각적 근거와 모순되는 텍스트 생성—을 탐지하기 위한 새로운 불확실성 기반 프레임워크인 UniVRSE를 제안한다. 기존의 의미 엔트로피(Semantic Entropy, SE)는 텍스트‑전용 LLM에서 의미 수준의 불확실성을 측정하는 데 성공했지만, 의료 VLM에 그대로 적용하면 강력한 언어 사전지식에 의해 과신(over‑confidence) 현상이 발생해 시각적 근거를 무시하는 경우가 빈번하다. 이를 해결하기 위해 UniVRSE는 시각‑조건부 접근을 도입한다. 구체적으로, 동일한 질문(또는 보고서의 주장)에 대해 원본 이미지와 시각적으로 왜곡된 이미지(예: 노이즈, 블러, 색상 변형)를 각각 입력으로 모델의 다중 샘플 응답을 생성한다. 각 이미지‑텍스트 쌍에서 얻은 응답 집합을 의미 클러스터링하여 의미 예측 분포를 만든 뒤, 두 분포 사이의 차이(discrepancy) 분포를 계산한다. 이 차이 분포의 엔트로피가 높을수록 모델이 시각 정보에 민감하게 반응하지 못하고, 즉 환각 가능성이 높다고 판단한다.

VQA 상황에서는 이미지‑질문 쌍에 바로 적용하고, VRG에서는 보고서를 원자적 주장(claim) 으로 분해한다. 각 주장마다 “이 주장에 대한 검증 질문”을 자동 생성하고, 해당 질문‑이미지 쌍에 대해 위와 같은 시각‑조건부 엔트로피를 측정한다. 이렇게 하면 길고 복합적인 보고서에서도 부분별 환각을 정밀하게 포착할 수 있다.

또한, 환각 탐지 성능을 객관적으로 평가하기 위한 라벨링 문제가 남아 있었는데, 저자는 ALFA(Alignment Ratio of Atomic Facts) 라는 새로운 사실 일관성 지표를 고안했다. ALFA는 생성된 텍스트와 레퍼런스 답변을 원자적 사실 단위로 분해하고, 의미적 정렬을 통해 일치 비율을 산출한다. 이 비율을 임계값으로 사용해 ‘환각’ 여부를 자동 라벨링함으로써, 주관적 평가나 도메인‑특정 규칙에 의존하던 기존 방법을 대체한다.

실험에서는 4개의 VQA 데이터셋(MIMIC‑Diff‑VQA, Path‑VQA, SLAKE, RAD‑VQA)과 2개의 VRG 데이터셋(IU‑Xray, CheXpertPlus)을 활용했으며, MedGemma‑4B‑it, LLaVA‑Med‑7B, HuaTuoGPT‑Vision‑7B 등 세 가지 최신 의료 VLM에 적용했다. UniVRSE는 기존 SE, VL‑Uncertainty, VASE 등과 비교해 AUROC, AUPR 등 주요 지표에서 평균 8~12%p 향상을 기록했고, 특히 시각 왜곡에도 불구하고 높은 확신을 보이는 모델의 과신 문제를 효과적으로 완화했다. 교차‑모달 일반화 실험에서도 훈련되지 않은 데이터셋·모델에 대해 일관된 성능 우위를 유지했다.

핵심 기여는 다음과 같다. (1) 시각‑조건부 의미 엔트로피를 통해 시각적 근거와 텍스트 생성의 정합성을 정량화한 UniVRSE 프레임워크 제시, (2) 기존 SE가 놓친 모달리티 편향을 왜곡 이미지 대비로 보완, (3) 원자적 사실 정렬 기반 자동 라벨링 메커니즘인 ALFA 도입, (4) 다양한 의료 영상·언어 태스크와 모델에 걸친 포괄적 실험을 통해 방법론의 강인함과 일반성을 입증.