제로샷 피부과 협업을 위한 비전 언어 파운데이션 모델 DermFM Zero

초록

**
DermFM‑Zero는 400만 개 이상의 이미지·텍스트 쌍으로 사전학습된 비전‑언어 파운데이션 모델로, 별도 미세조정 없이 20개의 진단·검색 벤치마크와 3개의 국제 임상 독자 연구에서 최첨단 성능을 기록했다. 일반의는 진단 정확도가 거의 두 배로 상승했으며, 피부암 전문의보다도 높은 정확도를 보였다. 또한 희소 자동인코더를 이용해 임상 의미 개념을 자동 추출·조정함으로써 편향을 제거하고 투명성을 확보했다.

**

상세 분석

**
DermFM‑Zero는 두 단계 학습 전략을 채택한다. 첫 번째 단계에서는 300만 장 이상의 라벨이 없는 피부 이미지에 마스크드 라텐트 모델링(Masked Latent Modeling)을 적용해 미세한 형태학적 특징을 학습한다. 두 번째 단계에서는 100만 쌍의 이미지‑텍스트 데이터를 이용해 도메인 특화 텍스트 인코더(PubMedBERT)와 대비 학습(Contrastive Learning)을 수행함으로써 시각 표현과 의료 지식 사이의 정렬을 달성한다. 이 과정에서 사용된 모델 아키텍처는 304 M 파라미터 규모의 비전 인코더와 110 M 파라미터 텍스트 인코더로, 기존 7 B 규모의 일반 도메인 모델보다 훨씬 효율적이면서도 의료 특화 성능을 확보한다.

벤치마크 평가에서는 4개의 공개 데이터셋(예: HAM‑10000, ISIC2020, SNU‑134, DAF‑ODIL‑5)에서 균형 정확도(balanced accuracy)와 평균 정밀도(mean average precision) 등 다양한 지표에서 기존 최고 성능 모델(MONET, DermLIP, PanDerm 등)을 크게 앞섰다. 특히 희귀 질환(스티븐스‑존슨 증후군 등)에서는 0.893의 균형 정확도를 기록, 데이터 부족 상황에서도 강인한 일반화를 보여준다.

시각‑언어 정렬 능력은 이미지‑텍스트 검색(R@50)에서도 입증된다. Derm1M 검증 세트와 SkinCap에서 각각 0.601·0.598, 0.623·0.586의 점수를 얻어, 경쟁 모델 대비 20‑30% 이상 높은 재현율을 달성했다. t‑SNE 시각화 결과는 클래스별 클러스터가 명확히 구분돼, 임상적으로 의미 있는 특징 공간이 형성되었음을 시사한다.

임상 적용 측면에서는 세 차례의 다국적 독자 연구가 핵심이다. 1차 진료에서는 30명의 일반의가 98개 질환 케이스에 대해 AI 보조 전후 진단 정확도가 0.266→0.482(Top‑3)로 상승했으며, 관리 적절성 점수도 0.504→0.592로 개선되었다. 2차 연구에서는 1,090명의 임상의(일반의·피부과 전문의)와 비교했을 때, DermFM‑Zero는 전체 평균 정확도 0.717로 전체 평균 0.663을 능가했으며, 특히 보드 인증 피부과 전문의보다 2.3%p 높은 성능을 보였다. 3차 연구에서는 34명의 전문가가 멀티모달(임상 사진+피부경) 데이터를 이용해 AI 보조 시 진단 정확도가 0.50→0.61, 관리 적절성이 0.70→0.73으로 유의미하게 향상되었다.

모델 해석 가능성 확보를 위해 희소 자동인코더(Sparse Autoencoders)를 적용, 라벨 없이도 임상적으로 의미 있는 개념(예: 색소 침착, 혈관 패턴 등)을 자동 추출했다. 이러한 개념은 사전 정의된 용어 기반 접근법보다 높은 분류 성능을 보였으며, 특정 편향(예: 이미지 촬영 장비에 의한 색상 왜곡)을 억제하기 위한 개입에도 활용돼 재학습 없이도 견고성을 높였다.

전반적으로 DermFM‑Zero는 (1) 대규모 멀티모달 사전학습을 통한 강력한 제로샷 능력, (2) 실제 임상 워크플로우에 적용 가능한 인간‑AI 협업 효과, (3) 자동 개념 발견을 통한 투명하고 안전한 AI 구현이라는 세 축을 동시에 만족한다는 점에서 의료 AI 분야에 중요한 전환점을 제공한다.

**