전역·국소 정보를 결합한 유방암 스크리닝 다중인스턴스 분류기

본 논문은 유방암 스크리닝을 위한 새로운 딥러닝 프레임워크인 Globally‑Aware Multiple Instance Classifier(GMIC)를 제안한다. 기존의 의료 영상 분석 모델은 자연 이미지와 달리 고해상도와 작은 병변이라는 특성 때문에 메모리 제한과 정보 손실 문제가 있었다. 이를 해결하기 위해 저자들은 세 가지 핵심 모듈로 구성된 아키텍처를 설계하였다. 첫 번째 로컬라이제이션 모듈은 ResNet‑22를 경량화하여 전체 해상도(2944×1920) 이미지를 직접 입력한다. 마지막 residual block의 피처맵을 1×1 컨볼루션과 시그모이드 활성화로 변환해 클래스별 살리언시 맵 A를 생성한다. 이 맵은 각 픽셀의 클래스 기여도를 나타내며, 전역적인 조직 분포와 미세 병변을 동시에 포착한다. 두 번째 디텍션 모듈은 살리언시 맵 A를 기반으로 K(=6)개의 ROI 패치를 선택한다. 알고리즘 1은 A를 정규화하고, 상위 t% 영역을 탐색해 평균 점수가 가장 높은 256×256 크기의 패치를 순차적으로 추출한다. 추출된 패치는 겹치지 않도록 마스크를 초기화해 중복을 방지한다. 이렇게 얻은 고해상도 패치는 작은 석회화나 미세 종양과 같은 작은 병변을 상세히 분석할 수 있게 한다. 세 번째 MIL 모듈은 각 패치를 ResNet‑18(사전학습)으로 임베딩해 128‑차원 피처 h̃_k를 만든 뒤, 게이트형 어텐션 메커니즘을 적용한다. 어텐션 가중치 α_k는 패치별 중요도를 학습적으로 추정하며, 가중합 z=∑α_k h̃_k를 최종 분류기에 전달한다. 시그모이드 활성화와 가중치 w_mil을 사용해 이미지‑레벨 예측 ŷ_mil을 산출한다. 학습 과정에서 디텍션 모듈은 비미분 가능하므로, 로컬라이제이션 모듈과 MIL 모듈을 별도 손실로 결합한다. 전역 예측 ŷ_loc은 살리언시 맵 A에 대해 상위 t% 영역 평균을 취한 소프트 풀링 f_agg(A)로 계산하고, BCE 손실을 적용한다. 또한 A에 L_reg=∑|A_ij|^β 정규화를 부여해 과도한 활성화를 억제한다. 최종 손실은 클래스별 BCE(ŷ_loc, y)+BCE(ŷ_mil, y)+λ·L_reg 형태이며, 두 예측을 평균해 최종 추론값 ŷ=(ŷ_loc+ŷ_mil)/2로 만든다. 실험에서는 뉴욕대 의료 데이터베이스에서 229,426개의 검진(1,001,093 이미지)을 사용했다. 데이터는 학습 186,816, 검증 28,462, 테스트 14,148로 분할했으며, 양성·악성 라벨을 균형 있게 샘플링했다. 하이퍼파라미터는 로그 스케일의 랜덤 서치를 100번 수행해 최적화했으며, Adam 옵티마이저와 40 epoch 학습을 적용했다. 성능 평가 결과, GMIC는 악성 판별에서 AUC 0.900, 양성(악성·양성 모두)에서 0.784를 기록했으며, ResNet‑22 베이스라인(악성 0.827, 양성 0.731)보다 현저히 우수했다. 어텐션을 제거한 GMIC‑noattn은 성능이 감소해 어텐션 메커니즘이 핵심임을 확인했다. 무작위 패치를 이용한 GMIC‑random은 MIL만 사용했을 때보다 낮은 성능을 보이며, 전역 살리언시 맵과 로컬 패치 정보를 결합한 것이 성능 향상의 주된 요인임을 입증했다. 임상적 가치 평가를 위해 14명의 방사선 전문의와 동일한 720건(1440 유방) 검진에 대해 독자 연구를 진행했으며, GMIC 앙상블 모델은 AUC 0.876으로 평균 방사선 전문의(0.778)와 최고 전문의(0.860) 모두를 능가했다. 인간·기계 하이브리드(예측 평균) 역시 0.883의 AUC를 기록해 상호 보완적임을 시사한다. Localization 측면에서는 픽셀‑레벨 세그멘테이션(전체 데이터의 <1%)을 이용해 연속형 F1 점수를 계산했으며, 악성 0.207, 양성 0.133을 얻었다. 시각화 결과, 살리언시 맵은 실제 병변에 높은 활성화를 보였으며, 어텐션 가중치가 높은 패치가 병변 영역과 겹치는 것을 확인했다. 다만 큰 병변의 경우 고정된 t% 풀링이 일부 영역만 강조하는 한계가 드러났으며, 이는 향후 가변 풀링 전략으로 개선될 수 있다. 결론적으로 GMIC는 고해상도 의료 영상을 전역·국소 정보를 동시에 활용해 강력한 분류 성능과 해석 가능성을 제공한다. 이미지‑레벨 라벨만으로도 픽셀‑레벨 병변 위치를 추정할 수 있어 라벨링 비용을 크게 절감한다. 향후 연구에서는 MIL 모듈의 오류 신호를 로컬라이제이션 모듈에 역전파하는 공동 학습 방식을 도입해 Localization 정확도를 더욱 향상시킬 계획이다.