해부학 영역 기반 대비 디코딩으로 의료 VLM의 환각 억제

초록

본 논문은 의료 영상‑언어 모델(MedVLM)의 환각 현상을 완화하기 위해, 해부학적 마스크를 활용한 영역‑가이드 대비 디코딩(ARCD) 방식을 제안한다. 토큰, 어텐션, 로짓 3단계에서 동적 가중치를 적용해 지정된 해부학 영역에 모델의 주의를 집중시키고, 훈련 없이 플러그‑인 형태로 다양한 MedVLM에 적용 가능함을 입증한다. chest X‑ray, CT, 뇌 MRI, 안구 초음파 등 4개 모달리티에서 hallucination 감소와 진단 정확도 향상을 확인하였다.

상세 분석

본 연구는 의료 VLM이 텍스트 기반 사전 지식에 과도하게 의존해 시각적 근거 없이 답변을 생성하는 ‘환각’ 문제를 근본적으로 해결하고자 한다. 기존의 두 갈래 접근법—(1) 대규모 전문가 라벨링을 필요로 하는 훈련 기반 방법과 (2) 전역적인 보정만 제공하는 훈련‑프리 대비 디코딩—은 각각 비용·확장성, 지역‑특이성 부족이라는 한계를 가진다. ARCD는 이러한 한계를 극복하기 위해 ‘해부학 마스크’를 입력으로 받아, 토큰‑레벨, 어텐션‑레벨, 로짓‑레벨에서 단계적으로 대비 가중치를 적용한다는 세 가지 핵심 메커니즘을 도입한다.

1. Dynamic Attention Mask Generation
   • 입력 이미지와 동일한 해상도의 바이너리 세그멘테이션 마스크 S를 확보한다(전문가 라벨링 혹은 MedSAM·PSPNet 등 사전 학습된 세그멘터 사용).
   • Vision Transformer(ViT‑L/14) 기반 인코더의 패치 토큰 구조에 맞추어, 전역 마스크 M_g와 지역 마스크 M_l을 각각 다운샘플링하고, 각 행에 newline 토큰을 삽입해 1‑D 시퀀스로 변환한다.
   • 최종 마스크 M =