다기관 암 세포핵 분류와 생존 예측을 위한 잔차 신경망 혁신

본 논문은 디지털 병리학에서 핵심적인 전처리 단계인 세포핵 분류를 고도화하고, 이를 실제 임상 예후 예측에 연결하는 종합적인 연구이다. 연구팀은 스위스 ETH 취리히와 미국 메모리얼 슬론 케터링 암센터, 취리히 대학병원 등 국제 협업을 통해 신장암(RCC)과 전립선암(PCa) 두 종류의 조직 마이크로어레이(TMA) 데이터를 확보하였다. RCC 데이터는 8장의 ccRCC TMA 이미지에서 1633개의 핵을 검출하고, 두 명의 병리학자가 라벨을 검증한 뒤 일치한 1272개의 핵(양성 890, 악성 382)을 사용했다. PCa 데이터는 6장의 TMA 이미지에서 1195개의 핵을 검출하고, 일치 라벨 826개(양성 207, 악성 619)를 활용하였다. 각 핵은 78×78 px 패치로 추출되었으며, 이는 기존 연구와 동일한 전처리 방식이다. 데이터 양이 제한적인 상황에서 과적합을 방지하고 일반화 성능을 높이기 위해, 연구팀은 5가지 데이터 증강 기법을 설계했다. 먼저 패치를 64~78 px 사이로 랜덤 스케일링하고, 64×64 px 크기로 랜덤 크롭한 뒤, 50% 확률로 좌우 반전한다. 이어서 0°~360° 사이의 임의 회전과 그레이스케일 변환을 적용해 각 원본 패치를 50번씩 변형, 결과적으로 RCC는 60 000개, PCa는 40 000개의 학습 샘플을 생성하였다. 모델 후보로는 Cifar‑10 스타일 소형 CNN, AlexNet, GoogLeNet, ImageNet‑기반 대형 네트워크 등을 시험했지만, 파라미터 수가 많아 작은 데이터셋에서는 빠르게 과적합되는 현상이 관찰되었다. 따라서 연구팀은 Kaiming He 등이 제안한 잔차 학습 구조인 ResNet를 중심으로 실험을 진행했다. ResNet18(18층)과 ResNet34(34층)를 각각 RCC와 PCa 데이터에 학습시켰으며, 학습‑검증 비율은 80%:10%:10%로 설정했다. RCC 실험 결과, ResNet18은 악성 핵에 대해 Precision 0.79, Recall 0.86, F1 0.83, 양성 핵에 대해 Precision 0.93, Recall 0.88, F1 0.90을 기록, 전체 평균 F1 0.88을 달성했다. ResNet34은 전체 평균 F1 0.82 수준으로 약간 낮았지만, 깊이가 늘어나면서 일부 클래스에서 성능이 향상되는 경향을 보였다. PCa에서는 두 모델 모두 거의 완벽에 가까운 성능을 보였으며, 악성 핵에 대해 Precision 0.99, Recall 1.00, F1 0.99, 양성 핵에 대해 Precision 1.00, Recall 0.93, F1 0.96을 기록했다. 두 모델이 서로 다른 샘플을 오분류했지만, 앙상블(동일 가중치) 적용 시 오분류 수가 1개로 감소하였다. 다기관 통합 학습을 위해 RCC와 PCa 데이터를 합친 4‑class(각 장기별 악성·양성)와 2‑class(악성·양성) 실험을 수행했다. 2‑class 모델에서는 PCa 데이터에 대해 100% 정확도를 유지했지만, RCC에서는 정확도가 80% 수준으로 약간 감소했다. 이는 데이터 불균형과 장기별 특성 차이가 모델에 미치는 영향을 보여준다. 또한, Cifar‑10 기반 소형 CNN을 합성 데이터에 적용했을 때도 PCa에서 좋은 성능을 보였으며, 이는 모델 복잡도와 데이터 양 사이의 균형이 중요함을 시사한다. 생존 분석 파트에서는 RCC 환자 132명을 대상으로 MIB‑1 표지자(증식 단백질) 양성 비율을 추정했다. 기존 연구에서는 병리학자가 직접 스테인된 세포 비율을 평가했지만, 본 연구는 ResNet18을 이용해 자동으로 악성·양성 핵을 분류하고, 이를 기반으로 스테인 비율을 계산했다. 환자들을 스테인 비율에 따라 두 그룹(고위험·저위험)으로 나눈 뒤, Kaplan‑Meier 생존 곡선을 그렸다. 로그‑랭크 검정 결과, ResNet18(통합 학습) 모델은 p‑value 0.006으로 통계적으로 유의한 생존 차이를 구분했으며, 이는 병리학자( p 0.038)보다 더 강력한 예측력을 나타냈다. 반면 ResNet34은 동일한 데이터에서 유의미한 차이를 보이지 않아, 모델 복잡도가 과도하면 오히려 성능이 저하될 수 있음을 강조한다. 논문의 주요 기여는 다음과 같다. (1) 제한된 데이터 환경에서도 효과적인 데이터 증강 파이프라인을 제시, (2) 다양한 최신 CNN 아키텍처를 체계적으로 비교·평가, (3) 두 장기의 데이터를 통합한 멀티오가니즘 학습 모델을 구현, (4) 모델 앙상블을 통한 오분류 감소 효과 입증, (5) 자동 핵 분류 결과를 임상 생존 예측에 적용해 기존 병리학자보다 높은 통계적 유의성을 확보. 연구팀은 코드와 데이터셋을 공개함으로써 향후 디지털 병리학 연구와 임상 적용을 위한 표준 벤치마크를 제공한다.