기하학적 멀티모달 파운데이션 모델로 전립선암 분류 혁신

초록

본 논문은 바이오메디컬 파운데이션 모델(BiomedCLIP)을 기반으로, bp‑MRI 영상과 임상 보고서를 동시에 처리하는 기하학적 멀티모달 구조(MFM‑Geom)를 제안한다. 임베딩 간 상관관계를 SPD 행렬로 정리하고, Riemannian 딥러닝 모듈로 학습함으로써 제한된 데이터에서도 기존 방법보다 높은 AUC‑PR과 낮은 FPR95를 달성하였다. 외부 데이터셋에서도 일반화 성능을 검증하였다.

상세 분석

이 연구는 전립선암(PCa) 진단에서 영상과 임상 정보를 통합하는 새로운 접근법을 제시한다. 기존의 대부분 AI 모델은 bp‑MRI 단일 모달에 의존해 임상 변수의 보완적 역할을 무시했으며, 데이터 부족으로 인해 강건한 표현 학습에 한계가 있었다. 저자들은 이러한 문제를 해결하기 위해 두 가지 핵심 기술을 도입한다. 첫째, 대규모 바이오메디컬 이미지‑텍스트 쌍(15 M)으로 사전학습된 BiomedCLIP 파운데이션 모델을 활용한다. 이미지 인코더는 3D 볼륨을 3‑D 패치로 분할하고, 가중치 인플레이션 전략을 통해 ViT‑B/16을 volumetric 입력에 적합하게 변형한다. 텍스트 인코더는 PubMedBERT 기반으로, 임상 변수(연령, PSA, PSA‑density, 전립선 부피 등)를 “fill‑in‑the‑blank” 형식의 보고서로 변환해 입력한다. 이렇게 얻어진 이미지와 텍스트 임베딩은 각각 L개의 트랜스포머 블록을 거쳐 최종 시퀀스를 만든다.

둘째, 임베딩 간 상관관계를 SPD(대칭 양정정) 행렬로 요약하는 기하학적 분류 헤드를 설계한다. 이미지‑텍스트 임베딩을 N × d 행렬 M으로 정렬한 뒤, S₀ = (1/d²) MMᵀ 로 SPD 행렬을 만든다. SPD 행렬은 비유클리드 공간에 존재하므로, Riemannian 네트워크(SPDNet)를 적용해 기하학을 보존한다. BiMap 층으로 차원을 축소하고, ReEig 층으로 양정성을 유지하며, LogEig 층을 통해 유클리드 공간으로 매핑한 뒤 MLP로 최종 클래스 확률을 출력한다.

학습 단계에서는 이미지‑텍스트 쌍을 정렬하는 InfoNCE 대비 손실과 이진 교차 엔트로피 손실을 동시에 최적화한다. 이렇게 하면 임상 변수와 영상 특징이 동일한 잠재 공간에 정렬돼, 서로 보완적인 정보를 효과적으로 결합한다.

실험에서는 PI‑CAI 데이터셋(총 1 262 사례)과 외부 PROSTATE158 데이터셋을 사용했다. 제한된 학습 비율(10 %)에서도 MFM‑Geom은 기존 클래스 토큰 기반 모델 대비 AUC‑PR이 8.3 %p 상승(90.67 ± 1.17)하고, FPR95는 37.10 %로 크게 감소했다. 전체 데이터로 학습했을 때도 최신 CNN 기반 방법(94.1‑96.5 % AUC‑ROC)보다 높은 97.2 % AUC‑ROC를 기록했다. 또한, 외부 검증에서 UFM‑Geom이 베이스라인을 앞섰으며, 임상 변수가 없는 외부 데이터에서는 멀티모달 설정을 평가할 수 없었지만, 파운데이션 모델 자체의 일반화 능력이 확인되었다.

한계점으로는 파운데이션 모델의 해석 가능성이 낮다는 점을 들며, 저자들은 마지막에 클래스 토큰과 패치 토큰 간의 어텐션 맵을 시각화해 주요 병변 부위와 임상 변수(PSAD, 전립선 부피, 병변 외부 확장 등)에 집중함을 보여준다. 향후 연구에서는 SPD 잠재 공간을 더 정밀히 분석하고, 악성도 단계별 구분 능력을 강화하는 방향을 제시한다.

전반적으로, 이 논문은 기하학적 구조와 멀티모달 파운데이션 모델을 결합해 제한된 의료 데이터 환경에서도 강건하고 해석 가능한 전립선암 분류기를 구현한 점이 큰 의의이며, 향후 임상 의사결정 지원 시스템에 적용될 가능성을 시사한다.