라타: 라플라시안 기반 전이‑학습‑프리 의료 VLM 불확실성 보정

초록

라타(LATA)는 라플라시안 그래프와 CCCP 평균장 업데이트를 이용해 라벨·학습 없이 의료 비전‑언어 모델(VLM)의 제로샷 확률을 정제하고, ViLU 기반 실패‑인식 스코어를 결합해 split conformal prediction(SCP)의 유효성을 유지하면서 예측 집합 크기와 클래스별 커버리지 격차(CCV)를 크게 감소시킨다.

상세 분석

본 논문은 의료 영상 분야에서 CLIP 계열 VLM을 제로샷으로 활용할 때, 도메인 이동과 데이터 불균형으로 인한 불확실성 추정의 한계를 지적한다. 기존 split conformal prediction(SCP)은 교환 가능성을 전제로 한 유한표본 커버리지를 제공하지만, 의료 데이터는 라벨이 적고 클래스 분포가 편향돼 있어 전통적인 비컨포미티 스코어(LAC, APS, RAPS)만으로는 예측 집합이 과도하게 커지거나 클래스별 커버리지가 불균형(높은 CCV)하게 된다. 라벨을 이용해 모델을 미세조정하면 교환 가능성이 깨져 SCP 보장이 무효화되는 점도 문제이다.

라타는 두 가지 핵심 아이디어로 이를 해결한다. 첫째, 라벨·학습이 전혀 필요 없는 전이 학습(transductive) 정제 단계이다. 전체 캘리브레이션·테스트 풀을 하나의 이미지‑이미지 k‑NN 그래프에 매핑하고, 각 노드의 제로샷 확률 q(x)를 KL‑다이버전스 기반 피델리티 항과 그래프 라플라시안 스무딩 항을 결합한 목적함수에 최적화한다. 이 목적은 콘벡스 KL 항과 대각선 L2 항을 포함하고, 비콘벡스 이웃 상호작용 항을 선형화해 CCCP(ConCave‑Convex Procedure)로 효율적인 고정점 업데이트(식 6)를 수행한다. 업데이트는 확률 단순히 곱하고 행 정규화하는 형태이며, 5~10회 반복이면 수렴한다. 그래프와 업데이트가 캘리브레이션·테스트 모두에 동일하게 적용되므로 교환 가능성이 보존돼 SCP의 유효성이 유지된다.

둘째, ViLU(Vision‑Language Uncertainty) 모듈을 활용한 실패‑인식 스코어이다. ViLU는 사전 학습된 MLP를 통해 이미지별 실패 확률 u(x)와 텍스트‑조건부 라벨 어텐션 α(x)를 출력한다. 라타는 기본 비컨포미티 스코어에 (1+λ·u(x))를 곱해 어려운 샘플에 대해 스코어를 확대하고, −η·α_y(x) 항을 빼 라벨이 텍스트와 일치할수록 스코어를 감소시킨다. 이렇게 조정된 스코어 S★는 캘리브레이션 세트에서 임계값을 구하고, 테스트에 적용해 동일한 α 수준에서 더 작은 집합과 균형 잡힌 클래스 커버리지를 제공한다.

또한 라타는 선택적 사전(prior) 베타 파라미터 β를 도입해 캘리브레이션 라벨 마진을 한 번만 사용해 클래스 빈도 사전 m을 로그 형태로 로그잇에 추가한다. β=0이면 완전 라벨‑프리(LATA‑LF), β>0이면 라벨‑인포드(LATA‑LI) 모드가 되며, 두 경우 모두 교환 가능성을 해치지 않는다.

실험에서는 3개의 의료 특화 VLM(CONCH, FLAIR, CONVIRT)과 9개의 다운스트림 과제(조직학, 안과, 흉부 X‑ray 등)를 대상으로 라타의 효율성을 검증한다. 라타는 기존 전이 적응 기법보다 적은 계산량(윈도우 기반 전이, 백프로파게이션 없음)으로 평균 예측 집합 크기를 10~30% 감소시키고, CCV를 크게 낮추면서 목표 커버리지(α=0.05,0.10)를 유지하거나 약간 초과한다. 라벨‑인포드 변형(LATA‑LI)은 라벨‑프리 대비 약간의 추가 이득을 제공하지만, 라벨‑프리(LATA‑LF)만으로도 라벨‑사용 방법에 근접한 성능을 보인다.

요약하면, 라타는 그래프 기반 라플라시안 스무딩과 CCCP 평균장 업데이트를 통해 라벨·학습 없이 VLM의 확률을 정제하고, ViLU 기반 실패‑인식 스코어로 비컨포미티를 재가중함으로써 SCP의 이론적 보장을 유지하면서 실용적인 효율성과 공정성을 동시에 달성한다.