계층적 비전‑언어 정렬을 통한 소수샷 병리 이미지 학습

초록

HiVE‑MIL은 5배와 20배 확대된 패치들을 시각·텍스트 노드로 변환하고, 부모‑자식 연결과 이질적 스케일 내 연결을 그래프로 구성한다. 텍스트‑가이드 동적 필터링과 계층적 텍스트 대비 손실을 도입해 약한 매칭을 제거하고 멀티스케일 텍스트 일관성을 강화한다. TCGA 유방·폐·신장 암 데이터셋에서 16‑샷 설정 기준 매크로 F1를 최대 4.1% 향상시켰다.

상세 분석

본 논문은 기존 멀티스케일 VLM‑MIL 접근법이 시각·텍스트 모달리티 각각의 스케일 간 상호작용을 충분히 모델링하지 못하고, 동일 스케일 내에서의 교차 모달 정렬이 약하다는 두 가지 근본적인 한계를 정확히 짚어낸다. 이를 해결하기 위해 제안된 HiVE‑MIL은 ‘계층적 이질 그래프’를 핵심 설계로 채택한다. 먼저, 5× 저해상도 패치를 coarse 노드, 20× 고해상도 패치를 fine 노드로 정의하고, 각 fine 노드가 해당 coarse 노드와 부모‑자식 관계를 맺도록 하여 시각적 계층 구조를 명시적으로 표현한다. 텍스트 측면에서도 동일한 계층 프롬프트를 LLM으로 자동 생성하고, 학습 가능한 토큰을 앞에 붙여 시각적 노드와 차원 일치를 맞춘다. 이렇게 구성된 시각·텍스트 노드 쌍은 두 종류의 엣지를 통해 연결된다. (1) ‘계층 엣지’는 같은 모달리티 내에서 스케일 간 흐름을 전달하며, Modality‑Scale Attention(MSA) 모듈이 각 엣지의 가중치를 학습해 전역‑국부 정보를 통합한다. (2) ‘이질 엣지’는 동일 스케일 내 시각‑텍스트 노드 사이의 정렬을 담당한다. 여기서 텍스트‑가이드 동적 필터링(TGDF) 단계가 핵심 역할을 한다. TGDF는 저해상도 단계에서 시각‑텍스트 유사도 기반으로 약한 패치를 제거하고, 남은 패치를 기준으로 고해상도 단계에서도 추가 필터링을 수행한다. 이 과정은 텍스트 프롬프트가 의미적으로 부적합한 이미지 패치를 그래프에 포함시키는 것을 방지해, 학습 효율과 정밀도를 동시에 높인다. 텍스트 측면의 일관성을 강화하기 위해 Hierarchical Text Contrastive Loss(HTCL)를 도입했는데, 이는 동일 클래스의 저·고해상도 텍스트 임베딩을 서로 끌어당겨 계층적 의미 일치를 강제한다. 전체 학습 목표는 시각‑텍스트 정렬 손실, HTCL, 그리고 최종 슬라이드‑레벨 로짓을 위한 교차 엔트로피 손실을 가중합한 형태이며, 그래프 신경망을 통해 각 노드의 표현을 업데이트한다. 실험 결과는 TCGA 유방, 폐, 신장 암 데이터셋에서 4‑shot부터 16‑shot까지 다양한 샷 수에 대해 기존 MIL, CLAM, TransMIL 등 전통 모델과 최신 VLM‑MIL 변형(예: TOP, FOCUS, Multi‑Scale CLIP)보다 일관되게 높은 매크로 F1을 기록한다. 특히 16‑shot 설정에서 평균 4.1%p 상승은 계층적 정렬과 동적 필터링이 제한된 라벨 환경에서 얼마나 큰 시너지 효과를 내는지를 입증한다. 또한, 도메인‑특화 VLM(예: PLIP, CONCH)과 결합했을 때도 성능 향상이 유지돼, 제안 프레임워크가 다양한 백본에 적용 가능함을 보여준다. 전체적으로 HiVE‑MIL은 (1) 멀티스케일 계층 구조를 그래프 형태로 명시화, (2) 스케일 간 시각·텍스트 일관성을 강화하는 손실 설계, (3) 텍스트 기반 동적 필터링으로 잡음 제거라는 세 축을 통해 기존 한계를 뛰어넘는 효율적인 소수샷 병리 이미지 학습 방법을 제시한다.