병리 파운데이션 모델의 토큰 레벨 표현이 밀집 예측에 미치는 영향 분석

초록

본 논문은 17개의 병리 파운데이션 모델(PFM)을 18개의 공개 세그멘테이션 데이터셋에 적용해 토큰‑레벨 표현이 핵, 선, 조직 수준의 밀집 예측에 얼마나 기여하는지를 체계적으로 평가한다. 고정‑프리트론, LoRA/DoRA, CNN 어댑터, Transformer 어댑터 등 5가지 파인튜닝 전략을 동일 프로토콜로 비교하고, 모델 규모·프리트론 데이터 양·어댑터 설계가 성능에 미치는 스케일링 법칙을 분석한다. 결과적으로 PFMs는 전반적으로 강건한 특징을 제공하지만, 단순히 모델을 크게 키우는 것만으로는 세그멘테이션 정확도가 크게 상승하지 않으며, 로컬 텍스처를 보강하는 CNN 어댑터가 가장 일관된 이득을 제공한다는 실용적인 인사이트를 도출한다.

상세 분석

본 연구는 병리학 분야에서 최근 급부상하고 있는 파운데이션 모델(PFM)의 밀집 예측(세그멘테이션) 전이 성능을 최초로 대규모 벤치마크(PFM‑DenseBench)로 정량화했다. 17개의 최신 Vision‑only 모델(UNI, Virchow, Gigapath 등)과 Vision‑Language 모델(CONCH, MUSK 등)을 포함해, 각 모델을 5가지 파인튜닝 방식(Freeze, LoRA, DoRA, CNN Adapter, Transformer Adapter)으로 변형하였다. 평가 지표는 mDice, mIoU, pixel accuracy 등 다중 메트릭이며, 부트스트랩을 이용해 95% 신뢰구간을 제공해 통계적 신뢰성을 확보했다.

핵심 결과는 다음과 같다. 첫째, PFMs는 기본 UNet 대비 평균 3~5%p(mDice) 향상을 보였지만, 이득은 데이터셋별로 크게 변동했다. 특히 조직‑레벨(BCSS, WSSS4LUAD)에서는 7%p 이상, 핵‑레벨(NUCLS, PanNuke)에서는 2%p 이하에 그쳤다. 이는 모델이 슬라이드‑레벨 전역 의미는 잘 포착하지만, 미세한 경계와 텍스처를 재현하는 데는 한계가 있음을 시사한다.

둘째, 어댑터 종류가 성능에 미치는 영향이 뚜렷했다. LoRA/DoRA는 파라미터 효율성은 높지만, mDice 상승폭이 1~2%p에 머물렀다. 반면 CNN Adapter는 로컬 컨볼루션 경로를 추가함으로써 평균 3.5%p, 최댓 6%p의 추가 이득을 제공했으며, 특히 경계가 복잡한 선‑레벨 데이터(GlaS, CRAG)에서 두드러졌다. Transformer Adapter는 전역 컨텍스트 강화에 유리했지만, 연산 비용이 증가하고 작은 데이터셋에서는 과적합 위험이 있었다.

셋째, 모델 규모와 프리트론 데이터 양의 스케일링 법칙을 정량화했다. 파라미터 수가 100M에서 1B로 10배 증가했을 때 mDice는 평균 1.2%p 상승했으며, 프리트론 이미지 수가 100k→1M으로 확대될 때는 0.8%p 정도의 개선만 관찰되었다. 즉, 성능 향상이 포화 구간에 가까워지고 있음을 보여준다.

넷째, Vision‑Language 모델은 텍스트 정렬이 일부 조직‑레벨 데이터에서 소폭(≈0.5%p) 개선을 가져왔지만, 전반적으로 Vision‑only 모델에 비해 큰 차이를 보이지 않았다. 이는 현재 텍스트 라벨링 품질·양이 제한적이며, 세그멘테이션과 직접적인 연관성이 낮기 때문으로 해석된다.

마지막으로, 실험 재현성을 위해 Docker 컨테이너, 설정 파일, 데이터 카드 등을 공개했으며, 평가 파이프라인을 자동화해 연구 커뮤니티가 손쉽게 새로운 PFMs를 비교·추가할 수 있도록 설계했다. 전체적으로 이 논문은 “대규모 전이 학습이 밀집 예측에 미치는 한계와 최적 어댑터 설계”라는 실용적 질문에 답을 제시하고, 향후 병리학 세그멘테이션 모델 개발 로드맵을 제시한다.