다중모달 기반 기초 모델을 활용한 자동 유방밀도 분류와 임상 적용 가능성

초록

본 연구는 기초 모델 BiomedCLIP을 유방 영상의 BI‑RADS 밀도 분류에 적용하여, 합성 2D, 디지털 유방 촬영술(DM), 디지털 유방 토모신테시스(DBT) 등 다중모달 데이터를 활용한 학습이 단일모달 학습과 비교해 유사한 정확도(0.74 vs 0.73)를 보이며, 모든 BI‑RADS 등급에서 AUC 0.84 이상을 달성함을 확인하였다. 외부 RSNA·EMBED 데이터셋에서도 AUC 0.80‑0.93의 높은 일반화 능력을 입증했으며, Grad‑CAM 시각화는 임상적으로 의미 있는 관심 영역을 일관되게 강조하였다.

상세 분석

이 논문은 최근 의료 영상 분야에서 급부상하고 있는 ‘기초 모델(foundation model)’ 개념을 실제 유방 영상 진단에 적용한 최초 사례 중 하나로 평가할 수 있다. BiomedCLIP은 텍스트‑이미지 쌍을 대규모로 학습한 CLIP 구조를 의료 도메인에 맞게 사전학습한 모델이며, 본 연구에서는 이를 전이학습(transfer learning) 방식으로 BI‑RADS 유방밀도 분류에 맞추어 미세조정(fine‑tuning)하였다. 핵심 기술적 기여는 세 가지로 요약된다. 첫째, 다중모달 학습 파이프라인을 설계하여 합성 2D(s2D), 디지털 유방 촬영(DM), 디지털 유방 토모신테시스(DBT) 각각의 이미지 특성을 동시에 학습하도록 하였다. 이는 각 모달리티가 제공하는 해부학적·방사선학적 정보를 보완함으로써 모델의 표현력을 크게 확장한다는 점에서 의미가 크다. 둘째, 유방밀도는 BI‑RADS A(극저밀도)부터 D(고밀도)까지 네 단계로 불균형한 클래스 분포를 보이는데, 저자들은 가중 대비 학습(weighted contrastive learning) 방식을 도입해 손실 함수에 클래스별 가중치를 부여함으로써 소수 클래스에 대한 과소평가를 방지하였다. 대비 학습은 이미지와 텍스트 라벨을 동일한 임베딩 공간에 매핑하는 과정에서 양성·음성 쌍을 구분하도록 학습시키며, 가중치를 적용함으로써 희소 라벨에 대한 신호 강도를 인위적으로 강화한다. 셋째, 모델 해석성을 확보하기 위해 Grad‑CAM을 활용해 각 예측에 대한 시각적 설명을 제공하였다. 결과적으로 모델은 유방 조직의 고밀도 영역, 섬유선 조직, 그리고 종양 가능성이 높은 부위를 일관되게 강조했으며, 이는 방사선과 전문의가 기대하는 ‘관심 영역’과 높은 일치도를 보였다. 성능 측면에서 다중모달 모델은 전체 정확도 0.74, 단일모달(s2D 전용) 모델은 0.73으로 차이는 미미했지만, 다중모달 모델은 모든 BI‑RADS 등급에서 AUC가 0.84 이상으로, 특히 고밀도(D)와 저밀도(A) 구분에서 AUC 0.89‑0.92를 기록해 임상적 의사결정에 충분히 활용 가능함을 시사한다. 외부 검증에서는 RSNA와 EMBED 두 대규모 공개 데이터셋을 이용해 AUC 0.80‑0.93의 범위 내에서 일관된 성능을 유지했으며, 이는 데이터 도메인 차이(촬영 장비, 인구통계학적 특성 등)를 넘어선 일반화 능력을 입증한다. 전체적으로 이 연구는 기초 모델이 대규모 라벨이 없는 의료 이미지에 대한 사전학습을 통해, 비교적 적은 라벨 데이터만으로도 다중모달 환경에서 높은 정확도와 해석 가능성을 동시에 달성할 수 있음을 보여준다. 향후 진단적 과제(예: 악성 종양 검출, 병변 분할)로 확장할 경우, 텍스트‑이미지 대비 학습을 활용한 멀티태스크 프레임워크 구축이 유망한 연구 방향이 될 것이다.