개요

비전-언어 모델(VLMs)의 발전은 의료 분야에서 인공 지능(AI)의 능력을 크게 확장시켰습니다. 시각적 및 텍스트 정보를 동시에 인코딩함으로써, VLMs (예: CLIP)와 그 의학적 변형들은 다양한 임상 이미징 모달리티에 걸쳐 유연한 제로샷 분류, 이미지-보고서 검색, 캡션 생성을 가능하게 했습니다. 디지털 병리학에서는 VLMs가 계산적 진단의 기초를 제공합니다.

그러나 이러한 장점에도 불구하고, VLMs의 임상 배포에서의 장기 신뢰성은 불확실합니다. 배포된 후에 이 모델들은 관찰된 분포와 크게 다른 입력 데이터를 만나게 될 수 있으며, 이는 스캐너, 염색 프로세스 또는 획득 위치의 변화 때문일 수 있습니다. 이것이 잘 알려진 도메인(데이터) 변이 문제입니다. 이러한 데이터 변이는 성능 저하를 초래하며, AI 지원 진단 시스템의 안전성과 신뢰성을 해치게 됩니다. 따라서 성능 저하를 탐지는 임상 위험을 방지하고 모델 유지보수를 위한 중요한 작업입니다.

그러나 대규모 사전 훈련된 병리학 VLM에서 성능 저하를 탐지하는 것은 몇 가지 근본적인 도전 과제가 있습니다. 첫째, 의료 이미징 분야에서의 VLMs의 신속한 채택에도 불구하고, 배포 후의 신뢰성 특히 실제 데이터 변이에 따른 성능 저하를 시스템적으로 연구하지 않았습니다. 둘째, 실용적인 의학 설정에서는 배포 후 진정한 라벨이 자주 사용 불가능하여 정확도나 AUC와 같은 표준 지표를 사용해 성능 저하를 직접 탐지하는 것이 불가능합니다.

이 도전 과제에 대응하기 위해, 우리는 데이터 변이 아래에서 병리학 VLM의 성능 저하를 공동으로 분석함으로써 해결책을 찾습니다. 입력 데이터 변이와 출력 수준 예측을 통해 체계적으로 탐색하도록 지원하기 위해 DomainSAT이라는 가벼운 GUI 기반 도구를 개발했습니다. 이 도구는 대표적인 변이 탐지 알고리즘을 통합하여 데이터셋 간의 변이 시각화가 가능합니다. 우리의 분석은 입력 수준 변이 탐지가 분포 변화를 식별하고 경고 신호를 제공하는 데 중요하지만, 입력 데이터 변이 자체만으로는 항상 성능 저하를 예측할 수 없다는 것을 보여줍니다.

이 관찰을 바탕으로, 우리는 출력 수준 신호를 추가로 검토하고 간단하면서도 효과적인 라벨 없는 신뢰도 기반 성능 저하 지표를 도입합니다. 이 지표는 변하는 데이터 조건 하에서 모델의 예측 신뢰도 변화를 포착합니다. 여기서의 기본 개념은 VLM이 안정적인 작동 범위로부터 멀어질수록 출력 신뢰도 분포가 더 분리되지 않고 불확실해지는 것이 성능 저하의 징후라는 것입니다.

우리는 대규모 병리학 데이터셋을 사용하여 제안된 프레임워크를 평가합니다. 이 데이터셋은 스캐너에 의해 유발되는 변동성이 있는 여러 의료 사이트를 아우릅니다. 실험 결과는 출력 기반 신뢰도 지표가 성능 저하를 정확히 추적하고, 입력 수준 변이 탐지는 보완적인 진단 맥락을 제공한다는 것을 보여줍니다. 이러한 신호들은 함께 병리학 VLM에서 데이터 변화에 따른 성능 저하 모니터링과 해석의 더 안정적인 방법을 가능하게 합니다.

본 연구의 주요 기여는 다음과 같습니다:

• 실제 세계 데이터 변이 아래에서 최신 병리학 VLM의 성능 저하를 심층적으로 조사.
• 라벨 없이도 VLM 성능 저하 신호를 제공하는 간단하면서도 효과적인 Confidence-based Degradation Indicator (CDI).
• DomainSAT라는 가벼운 GUI 도구, 대표적인 변이 탐지 방법을 통합하고 데이터 변이 패턴의 직관적 시각화를 지원.

이러한 구성 요소는 디지털 병리학에서 기반 모델의 신뢰성 모니터링에 대한 실용적인 프레임워크를 제공하며, DomainSAT 도구는 https://github.com/guanharry/DomainSAT 에서 공개적으로 이용 가능합니다.

관련 연구

비전-언어 모델

비전-언어 모델(VLMs)은 이미지와 텍스트의 결합 표현을 학습하여 제로샷 분류 및 검색을 가능하게 합니다. CLIP, BLIP-2, LLaVA와 같은 일반적인 VLM들은 다양한 시각 도메인에서 강력한 일반화 능력을 보였습니다. 이러한 성공에 힘입어 몇 가지 의학적 VLM들이 개발되어 임상 결과를 향상시켰습니다. 이들에는 MedCLIP, BiomedCLIP, LLaVA-Med가 포함되며, 이런 모델들은 짝지어진 의료 이미지-텍스트 데이터를 활용하여 의학적 이해도를 높입니다.

디지털 병리학에서는 고해상도 조직병리학 이미지와 미세한 세포 구조를 처리하는 독특한 도전 과제를 해결하기 위해 도메인별 VLM이 최근 등장했습니다. 특히, 본 연구에서 사용되는 최신 모델인 PathGen-CLIP은 160만 개의 병리학 이미지-텍스트 쌍을 통해 훈련되었습니다. PathGen-CLIP은 강력한 병리학 특화 임베딩을 제공하며, 종양 분류 작업에서 매우 좋은 성능을 보였습니다. 하지만 이러한 신속한 발전에도 불구하고, 실제 세계 데이터 변이 상황에서의 병리학 VLM의 신뢰성과 성능 저하에 대한 연구는 여전히 미흡하여 본 연구가 필요하게 되었습니다.

도메인 변이 탐지

도메인(데이터) 변이 탐지 방법은 일반적으로 거리 기반, 통계 기반 및 머신 러닝 기반 세 그룹으로 분류됩니다.

거리 기반 방법

이러한 방법들은 참조 데이터와 대상 데이터 간의 불일치를 거리 메트릭을 사용해 측정합니다. 값이 클수록 도메인 변이가 강하고 성능 저하 위험이 높은 것을 나타냅니다. *et al.*에서는 사전 훈련된 오토인코더가 가슴 X선에서 잠재 특성을 추출한 후 MMD 거리를 계산하여 미세한 분포 변화를 탐지했습니다. Stacke *et al.*은 CNN 유래의 특성과 워터스타인 및 KL 발산을 사용해 의료 이미지 분석에서 잠재 공간 변이를 평가합니다.

머신 러닝 기반 방법

변이 탐지에 대한 일반적인 전략은 소스와 대상 샘플을 구분하기 위해 도메인 분류기를 훈련시키는 것입니다. *et al.*의 연구에서는 고차원 데이터에 널리 사용되는 Classifier Two-Sample Test (C2ST)를 적용하여 당뇨병성 망막증 검사를 모니터링하고 이미지 품질, 합병증 및 인구 통계와 관련된 변이를 탐지했습니다.

통계 기반 방법

이러한 방법들은 소스와 대상 분포를 비교하기 위해 가설 검정을 적용하며, 일반적으로 해석 가능한 결정을 위한 p-값을 반환합니다. 이는 종종 1차원 특성에 사용되어 변이의 원인을 특정합니다. Kolmogorov-Smirnov (KS) 테스트는 데이터 변화 탐지에 자주 사용됩니다. CheXstray는 KS 테스트를 DICOM 메타데이터, 이미지 특성 및 모델 출력에 적용하여 실시간 모니터링을 수행합니다.

도메인 변이 분석 도구

도구 설계와 워크플로우

전체적인 구성

도시한 그림 2에서 보듯이 DomainSAT은 세 가지 주요 모듈로 구성됩니다: a) 데이터 로드 모듈, 소스 및 대상 데이터셋을 표준화된 형식으로 가져오는 역할; b) 알고리즘 모듈, 고전적인 도메인 변이 탐지 방법들을 통합하여 사용자가 심층 분석을 수행할 수 있도록 지원하는 역할; c) 출력 모듈, 해석 가능한 변이 탐지 결과와 정보적 시각화를 생성합니다.

사용성을 극대화하기 위해 도구는 **그래픽 사용자 인터페이스(GUI)**를 제공하여 오프라인 탐색 및 사후 분석, 데이터 분포의 시각화 및 도메인 변이 평가를 수행할 수 있게 합니다. 이를 위해서는 프로그래밍 없이도 가능합니다.

워크플로우

GUI를 사용하면 사용자는 소스와 대상 데이터셋(.csv 형식)을 업로드하고 도구에서 제공하는 하나 이상의 도메인 변이 탐지 알고리즘을 선택할 수 있습니다. 실행 후, DomainSAT은 p-값, 거리 메트릭 또는 분류기 점수와 같은 자세한 출력 결과를 생성하며 이를 .csv 파일로 저장하여 추가 분석에 사용할 수 있게 합니다. 또한 도구는 소스 및 대상 도메인의 각 특성 분포를 시각화하는 기능을 제공합니다. 이러한 시각적 비교는 도메인 변이의 직관적이고 심층적인 특성 레벨 분석을 가능하게 합니다.

알고리즘

DomainSAT 도구는 거리 기반 방법, 통계 테스트 방법 및 머신 러닝 기반 방법으로 구성된 여러 도메인 변이 탐지 알고리즘을 포함합니다.

거리 기반 방법은 소스와 대상 데이터셋 간의 불일치를 수치 거리 점수로 측정합니다. 이 점수가 특정 임계값을 초과하면 도메인 변이가 감지됩니다.

통계 테스트 방법은 소스 및 대상 데이터가 동일한 분포에서 온 것인지 평가합니다. 작은 p-값(보통 0.05 또는 0.02 이하)은 통계적으로 유의미한 데이터 변화를 나타냅니다.

머신 러닝 기반 방법은 소스와 대상 데이터를 구분하기 위해 분류기를 훈련합니다. 이 분류기가 무작위 추측보다 성능이 크게 우수(정확도 또는 ROC 곡선 아래의 면적(AUC)과 같은 메트릭을 통해 측정됨)하면, 감지 가능한 도메인 변이가 있는 것을 나타냅니다.

도구와 포함된 모든 알고리즘은 Python으로 구현되었습니다. 이는 완전 오픈 소스 프로젝트로서 사용자는 기존 파이프라인을 따르며 새 알고리즘을 추가하고 테스트할 수 있습니다. 모든 구현 방법은 크로스 플랫폼(예: Windows, MacOS)에서 작동하며 GPU는 필요하지 않습니다.

병리학 VLM의 성능 저하 탐색

이 섹션에서는 데이터 변화 아래에서 병리학 VLM의 성능 저하를 공동으로 분석함으로써 입력 수준 신호와 출력 수준 지표의 보완적인 역할을 강조합니다.

데이터셋 개요

우리는 WILDS Camelyon17 데이터셋을 사용합니다. 이는 실제 세계 데이터 변화를 연구하기 위해 설계된 공개 병리학 벤치마크입니다. 데이터셋은 5개의 병원 사이트(Site 1, 2, 3, 4, 5)에서 염색 프로토콜과 스캐너 유형의 차이로 인한 실제 세계 데이터 변화를 포착합니다. Sites 1-3은 조직병리학 이미지 획득을 위해 동일한 스캐너를 공유하고 있으며, Site 4와 Site 5는 각각 다른 스캐너 유형을 사용합니다. 이 데이터셋은 전체 병변 이미지에서 추출된 이미지 패치로 구성되며, 패치 수준의 이진 라벨은 종양 존재 여부를 나타냅니다.

참조 및 OOD 사이트

이 연구에서는 다음과 같이 정의합니다:

• In-distribution (ID) / 참조 사이트: Sites 1-3을 결합하여 배포 참조를 시뮬레이션합니다. 이는 모델 개발 중 사용 가능한 분포를 반영하고 모니터링에 대한 기준점을 제공합니다.
• Out-of-Distribution (OOD) 사이트: Site 4 (OOD-S1) 및 Site 5 (OOD-S2)는 다른 스캐너와 염색 조건을 사용하여 수집된 데이터로, 배포 후 겪게 될 실제 도메인 변이를 모방합니다.

모델

PathGen-CLIP은 CLIP을 기반으로 한 최신 병리학 비전-언어 모델로 종양 분류에 사용됩니다. 이 모델은 ViT-B/16 이미지 인코더와 표준 트랜스포머 기반 텍스트 인코더를 사용합니다. AI 제품의 실제 배포 상황을 시뮬레이션하기 위해 모든 실험에서 모델은 완전히 동결되어 있으며, 파인튜닝이나 매개변수 업데이트는 이루어지지 않습니다.

특히 PathGen-CLIP은 Camelyon17에 대해 사전 훈련하거나 업데이트하지 않았습니다. 이로 인해 실험에서 관찰된 모든 성능 차이는 데이터 변이만으로부터 유래하며 모델 적응이나 재훈련과는 무관합니다. 이를 통해 정보 누출을 피하고 실제 세계 모니터링 시나리오를 더 정확하게 반영할 수 있습니다.

추론

추론에서는 병리학 VLM (PathGen-CLIP)을 사용하여 종양 분류를 수행합니다. 라벨 집합은 $\mathcal{C}=\{\textbf{tumor},\textbf{normal}\}$로 구성됩니다. 모델에 제공하는 두 개의 텍스트 프롬프트는 “H&E 이미지의 종양 패치"와 “H&E 이미지의 정상 패치"입니다.

[Title_Easy_KO]: 병리학 VLM 성능 저하 탐지: 데이터 변화 대응 [Title_Easy_EN]: Detecting Performance Degradation in Pathology VLMs