다중입자 의료 영상 이해를 위한 다중입자 언어 학습

초록

본 논문은 의료 영상의 복합적인 라벨과 다양한 주석 수준을 동시에 정렬할 수 있는 대비학습 프레임워크 MGLL을 제안한다. 다중라벨과 다중입자 텍스트 정보를 활용해 소프트 CLIP 손실, 점별 손실, 부드러운 KL 발산 손실을 결합함으로써 기존 CLIP의 단일라벨·단일입자 제한을 극복하고, 시각‑언어 모델에 플러그‑인 방식으로 적용한다. 대규모 안저·흉부 X‑ray 데이터셋에서 사전학습 후 다수의 다운스트림 의료 과제에서 최첨단 성능을 달성한다.

상세 분석

MGLL은 기존 CLIP이 이미지와 텍스트를 1:1 매칭하는 구조적 한계를 다중라벨·다중입자 상황에 맞게 확장한다. 핵심 아이디어는 이미지 하나에 대해 여러 텍스트 라벨이 동시에 존재한다는 전제 하에, 라벨 간 공존 행렬을 정규화한 가중치 wᵢₖ를 도입해 소프트 CLIP 손실(L_sCLIP)을 정의한다. 이는 이미지‑텍스트 쌍을 확률적 분포로 바라보게 하여, 하나의 이미지가 다수의 관련 라벨에 부분적으로 정렬되도록 만든다.

점별 손실(L_P)은 이진 교차 엔트로피 형태로 각 이미지‑텍스트 쌍을 개별적으로 감독한다. 시그모이드 활성화를 통해 로짓을 확률로 변환하고, 실제 매칭 여부 yᵢⱼ에 따라 손실을 가중한다. 이 과정은 다중라벨 정밀도를 높이고, 라벨 간 상호작용을 명시적으로 모델링하지 않으면서도 미세한 구분 능력을 강화한다.

다중입자 정렬을 위해 MGLL은 각 입자(예: 질병 카테고리, 진단 설명, 임상 해설)를 별도의 텍스트 임베딩 공간에 매핑하고, 이들 간의 분포 일치를 부드러운 KL 발산 손실(L_sKL)로 강제한다. 각 입자별 예측 분포 Pᵢ를 평균 분포 M과 비교해 KL을 최소화함으로써, 서로 다른 입자 수준에서도 일관된 시각 표현을 학습한다. 이는 입자 간 정보 손실을 방지하고, 고해상도·저해상도 라벨 모두를 동시에 활용할 수 있게 한다.

구조적으로 MGLL은 이미지 인코더(ViT)와 텍스트 인코더(BERT)를 그대로 사용하면서, 추가 파라미터 없이 손실 함수만 교체한다. 따라서 기존 비전‑언어 모델에 플러그‑인 형태로 적용 가능하며, 학습 비용이 크게 증가하지 않는다.

실험에서는 안저(MGLL‑Fundus)와 흉부 X‑ray(MGLL‑Xray) 두 도메인에 대해 대규모 다중입자 데이터셋을 구축하고, 10여 개 이상의 공개 의료 데이터셋에 전이 학습 후 평가하였다. 결과는 다중라벨 정확도, AUC, F1 점수 모두 기존 CLIP, MedCLIP, Multi‑Label‑CLIP 등 최신 방법을 크게 앞선다. 특히 미세 라벨(예: 중증·경증 DME) 구분에서 KL 정렬이 큰 효과를 보였으며, 라벨 희소성이 높은 상황에서도 안정적인 성능을 유지한다.

이론적 분석에서는 CLIP의 단일라벨 손실이 최적화될 때 이미지와 텍스트가 동일한 확률 질량을 갖는 단일 점에 수렴하는 반면, MGLL은 다중 라벨에 대한 확률 질량을 분산시켜 보다 넓은 표현 공간을 활용한다는 점을 수식적으로 증명한다. 또한 KL 정렬이 입자 간 평균 분포를 공유함으로써 과적합을 방지하고, 일반화 능력을 향상시킨다.

요약하면 MGLL은 (1) 소프트 라벨 가중치 기반 다중라벨 정렬, (2) 점별 이진 교차 엔트로피를 통한 미세 정밀도 강화, (3) 부드러운 KL 발산을 통한 입자 간 일관성 확보라는 세 가지 핵심 메커니즘을 결합해, 의료 영상의 복합적인 라벨 구조를 효과적으로 학습한다.