폐암 CT 영상에서 종양 기반 딥 피처와 랜덤 포레스트를 활용한 OOD 검출 프레임워크

초록

본 논문은 사전 학습된 트랜스포머‑컨볼루션 하이브리드 모델의 계층적 피처를 활용해, 예측된 종양 영역에 앵커링된 ROI에서 추출한 딥 피처를 랜덤 포레스트 분류기에 입력함으로써 3D CT 스캔의 OOD(Out‑of‑Distribution) 여부를 경량화된 사후(post‑hoc) 방식으로 판별한다. 제한된 수의 OOD 샘플만으로도 높은 AUROC(near‑OOD > 93.5%, far‑OOD > 99%)를 달성했으며, 모델 깊이·프리트레인 전략에 강인한 아키텍처‑불변성을 보였다.

상세 분석

본 연구는 기존 로그잇 기반 OOD 탐지 방법이 갖는 “모델 편향”과, 전용 OOD 네트워크를 추가하는 경우 발생하는 파라미터·연산량 증가 문제를 동시에 해결하고자 한다. 핵심 아이디어는 (1) 사전‑학습된 Swin‑Transformer 백본을 그대로 이용해 다중 스케일 피처를 추출하고, (2) 예측된 종양 마스크를 기준으로 3D ROI를 여러 개 생성해 해당 영역에 국한된 피처를 GAP(Global Average Pooling)으로 압축, (3) 압축된 피처 벡터를 랜덤 포레스트(RF) 분류기에 학습시켜 OOD 스코어를 산출한다는 점이다.

• 피처 재활용: SSL 기반 SMIT( Self‑Distilled Masked Image Transformer) 프리트레인 후 파인튜닝된 백본을 동결(freeze)함으로써, 기존 세그멘테이션 모델이 이미 학습한 도메인‑불변 표현을 그대로 활용한다. 이는 별도 피처 엔코더를 설계할 필요 없이 메모리·시간 효율성을 크게 높인다.

• 종양‑앵커링 ROI: 전통적인 이미지‑전체 기반 OOD 탐지는 고차원 피처의 잡음에 취약한 반면, 본 방법은 종양이 존재할 가능성이 높은 영역에 ROI를 집중한다. 이는 특히 같은 해부학적 부위 내에서 발생하는 폐색전증·COVID‑19‑negative 등 “near‑OOD” 상황을 구분하는 데 유리하다. 또한, OOD 스캔에서 세그멘테이션 모델이 생성하는 가짜 종양 마스크 자체가 OOD 신호가 될 수 있음을 실험적으로 확인하였다.

• 아웃라이어 노출(Outlier Exposure): 제한된 수(≈20)의 OOD 샘플을 RF 학습에 포함시켜, 완전 비지도 방식보다 near‑OOD에 대한 민감도를 크게 향상시켰다. 동시에 leave‑one‑dataset‑out 실험을 통해 훈련에 사용되지 않은 OOD 유형에도 일반화됨을 입증하였다.

• 경량화와 아키텍처 독립성: RF는 트리 기반 모델로 학습·추론이 빠르고, 파라미터 수가 수천 수준에 불과하다. 따라서 기존 세그멘테이션 파이프라인에 플러그‑인 형태로 쉽게 적용 가능하며, Swin‑Transformer 외에도 ResNet, ConvNeXt 등 다양한 백본에 동일한 절차를 적용할 수 있다.

• 실험 설계: 2,056개의 3D CT 스캔을 활용해 5개의 공개 데이터셋(폐암, 폐색전증, COVID‑19‑negative, 신장암, 정상 췌장)을 대상으로 near‑OOD와 far‑OOD를 구분하였다. 비교 대상에는 Mahalanobis 거리 기반, 로그잇 스코어, 온도 스케일링, 라디오믹스 피처, 그리고 최신 OOD 전용 네트워크가 포함되었다. RF‑Deep는 모든 경우에서 AUROC가 93.5% 이상, far‑OOD에서는 99%에 육박하는 성능을 보였으며, 특히 로그잇 기반 방법이 70% 수준에 머물던 상황을 크게 앞섰다.

• 해석 가능성: SHAP(Shapley Additive exPlanations) 분석을 통해 특정 스테이지(특히 Swin‑Stage 3·384채널)의 피처가 OOD 판별에 가장 크게 기여함을 확인하였다. 또한, 클러스터링 결과는 ID와 OOD 피처가 명확히 구분되는 구조를 보여, 피처 공간 자체가 잘 정돈되어 있음을 시사한다.

• 제한점 및 향후 과제: 현재는 세그멘테이션 모델이 최소 하나의 종양 마스크를 생성해야 ROI 추출이 가능하므로, 완전한 “무종양” OOD(예: 정상 폐)에서는 별도 신호가 필요하다. 또한, ROI 크기·오프셋 파라미터가 데이터셋에 따라 최적화될 여지가 있다. 향후에는 다중‑모달(CT + PET) 피처 결합이나, 온라인 적응형 OOD 스코어 업데이트를 연구할 수 있다.