디지털 병리학은 조직 병리 검사에 혁명을 일으켜 현대 의료 실무에서 중요한 기술이 되었으며 실험실 환경에서도 점점 더 필수적인 역할을 하고 있습니다 [1,2]. 현대 조직 병리 이미지는 엄청나게 크며 때로는 수십억 픽셀을 포함하며 [3], 간단한 수학적 방정식이나 모델로 표현하기 어려운 복잡한 특징을 가지고 있습니다 [4]. 이 복잡성은 더욱 정확하고 효율적인 진단을 위한 혁신적인 자동화 방법의 개발을 촉구했습니다. 머신러닝(ML)과 인공지능(AI)의 발전은 이러한 접근법의 자동화를 더욱 향상시켜 방대한 양의 이미지 데이터에서 의미 있는 패턴을 추출할 수 있게 되었습니다. 현재 연구자들과 임상가는 복잡한 데이터셋을 분석하는 데 더 정확하게 사용할 수 있는 고급 알고리즘과 딥러닝(DL) 모델을 활용하고 있습니다.

전통적인 ML 기법은 일반적으로 여러 전처리 단계를 포함하며, 이에는 특징 선택, 이미지 분할 및 분류가 포함됩니다 [5]. 이러한 방법들은 다양한 문헌에서 광범위하게 검토되어 왔습니다 [6][7][8]. 그러나 지난 10년 동안 복잡한 의료 생물학적 이미지 분석을 향상시키고 최적화하기 위한 딥러닝 기법의 개발 및 배포에 대한 주목할 만한 변화가 있었습니다. 특히 2012년 ImageNet Large Scale Visual Recognition Challenge에서 컨볼루션 신경망(CNN)이 성공적으로 적용된 이후 [9 - 11], CAMELYON16과 같은 새로운 오픈 챌린지 [12][13] 및 PANDA [14]와 같이 방광암에서 Gleason 등급을 판단하는 것에 대한 중요한 발전이 있었습니다. 이러한 챌린지는 CNN 및 Multiple-Instance Learning(MIL) 기반 분류 시스템이 이런 진단 작업에서 병리학자를 능가할 수 있다는 것을 보여주며, 딥러닝 기법의 의료 생물학적 이미지 분석에 대한 점점 더 중요한 역할을 강조합니다.

관련 연구

최근 몇 년 동안 병리학자들은 환자의 치료 접근 방식을 향상시키고 그 결과를 높이는 데 도움이 되는 광범위한 새로운 자원들로부터 이익을 얻었습니다 [16]. 이러한 진전에 기반하여 연구자들은 유방 병리학적 이미지에서 다양한 구조를 분할하기 위해 임계치, 퍼지 C-평균 군집화 및 적응형 임계치 방법을 사용한 결과가 성공의 수준이 달랐습니다 [17 - 20]. 이 분야의 추가적인 발전에는 H&E 염색에 기반하여 멜라노마 또는 네비를 분류하기 위한 Support Vector Machine(SVM)의 활용이 포함됩니다. 4개의 특징을 사용해 개발된 SVC 모델은 다양한 배율에서 테스트되었으며, 특히 3+4 특징 조합으로 40x 배율에서 가장 높은 정확도인 90%를 달성했습니다 [21]. [22]에서는 VGG16, InceptionV3 및 ResNet50과 같은 다양한 특징 추출 기법을 사용하여 폐와 대장암 분류를 위한 여덟 가지의 독특한 사전 학습된 CNN 모델을 구현했습니다. 이 모델들은 정확도가 96%에서 100% 사이였습니다.

또한 [23]에서는 Otsu 임계치, 형태학적 연산 및 조직학적 제약 조건을 사용하여 Whole Slide Images(WSI)를 분할했습니다. 기계 학습 모델인 Random Forest(RF), K-Nearest Neighbors(KNN), Support Vector Machine(SVM) 및 로지스틱 회귀는 이미지 패치에서 추출된 특징으로 훈련되었습니다. Random Forest 모델은 93%의 정확도로 가장 높은 성능을 보였습니다. Yan et al. [24]은 Inception-V3를 사용하여 이미지를 12개 패치로 나누어 특징을 추출하는 새로운 하이브리드 딥 신경망을 개발했습니다. 이 방법은 91.3%의 정확도를 달성하며 현재 방법들을 능가했습니다. [25]에서 제시된 연구는 LC25000 데이터셋과 컨볼루션 신경망(CNN)을 사용하여 폐암 병리학 이미지를 분류하는 것을 집중적으로 다뤘습니다. 특징 추출은 ResNet50, VGG19, InceptionResNetV2 및 DenseNet121을 통해 수행되었으며 Triplet 손실 함수를 적용하여 성능을 개선했습니다. 분류 작업에는 3개의 은닉 계층을 사용한 CNN이 이용되었습니다. 모델들 중에서 Inception-ResNetv2가 가장 높은 테스트 정확도인 99.7%를 달성했습니다.

기여

이 논문은 다음과 같은 혁신적인 방법론을 통해 중요한 기여를 제공합니다: i. HOG와 딥러닝 특징의 통합으로 개선된 분류: 이 연구의 주요 기여는 InceptionResNet-v2 네트워크에서 추출한 딥 러닝 특징과 Histogram of Oriented Gradients(HOG) 특징을 통합하는 새로운 방법을 소개하는 것입니다. 이러한 결합 특징 집합은 에지와 텍스처 정보를 포착하는 전통적인 HOG 특징의 강점을 활용하며, 고수준 추상적 표현을 제공하는 딥러닝 특징을 결합하여 일반적인 방법보다 분류 정확도를 크게 개선합니다. 이 방법은 LBP 및 Haralick과 같은 기존 방법보다 더 우수한 성능을 보여주며, 이는 이전 연구에서 낮은 성능을 보였습니다 [26]. ii. 강건성과 내성의 증명: 또한 이 연구는 제안된 모델이 다양한 조건 하에서 특히 잡음 및 신호-잡음 비율(SNR) 측면에서의 강건성을 평가했습니다. 딥러닝 특징을 이용해 훈련한 모델들은 이러한 변화에 대한 내성성이 높아, 이상적인 이미지 조건이 아닌 상황에서도 높은 성능을 유지할 수 있음을 보여주었습니다.

재료 및 방법

각 실험에서는 InceptionResNet-V2의 제공된 아키텍처를 활용하여 수행되었습니다. 이 사전 학습 네트워크를 이용해 두 가지 다른 시나리오에서 성능을 평가했습니다: 첫째로, 독립적인 분류기로서, 둘째로, 특징 추출기로서. 분류 작업에서는 InceptionResNet-V2를 직접 사용하여 이미지를 분류했습니다. 특징 추출에는 네트워크에서 이미지의 고수준 특징을 얻어 이를 추가 기계 학습 모델에 전달하여 최종 분류를 수행했습니다.

데이터셋

LC25000 데이터셋은 25,000개의 비식별화된 HIPAA 준수 및 검증된 색상 이미지를 포함하고 있습니다 [28]. 이는 다섯 가지 클래스로 구성되어 있으며: 대장 암, 양성 대장 조직, 폐 낭포암, 폐 습진세포 침식 및 양성 폐 조직으로 각각 5,000개의 이미지가 포함됩니다. 이미지는 먼저 768 x 768 픽셀로 자르고, 왼쪽과 오른쪽 회전(25도까지 가능하며 확률은 1.0) 및 가로와 세로 반전(확률은 0.5) 등 증강이 적용되었습니다 [29]. 데이터는 학습을 위한 60%, 검증을 위한 20%, 테스트를 위한 20%로 분할되었습니다. Figure 1은 데이터셋의 각 클래스에서 샘플 이미지를 보여줍니다.

사전 학습 CNN의 미세 조정

미세 조정 과정에서는 두 개의 컨볼루션 블록을 정의했습니다. 각 블록은 컨볼루션 계층, 배치 정규화 계층, ReLU 활성화 함수 및 최대 풀링 계층으로 구성되었습니다. 첫 번째 컨볼루션 계층에는 7x7 크기의 128개 필터가 있으며 패딩은 3으로 설정되어 입력 이미지의 공간적 차원을 유지합니다. 두 번째 컨볼루션 계층은 스트라이드가 2인 5x5 크기의 256개 필터를 사용하며, 이는 효과적으로 특징 맵 차원을 2배로 줄입니다. 이러한 계층 이후에는 최종 분류 작업에 필요한 학습된 특징을 통합하기 위한 완전 연결 계층이 있습니다. 최적화를 위해 Stochastic Gradient Descent와 Momentum 값 0.9를 구현했습니다. 초기 학습률은 $`10^{-4}`$로 설정되었으며, 학습률 일정 스케줄을 적용하여 에포크에 따라 학습률이 어떻게 변경되는지 결정했습니다.

사전 학습 CNN의 특징 추출

이미지는 무작위 회전(0°, 90°, 180°, 270°) 및 이동([-3, 3] 픽셀)을 통해 증강되어 훈련 세트의 다양성을 높였습니다. 특징은 InceptionResNet-v2 네트워크의 ‘avg_pool’ 계층에서 추출되었습니다. 여러 기계 학습 모델들은 Bayesian 최적화를 통해 하이퍼파라미터 튜닝을 진행했습니다.

HOG 특징과 사전 학습 CNN에서 추출된 특징 통합

이미지는 299 x 299 픽셀 크기로 자르고, 무작위 회전 및 이동을 통해 증강되었습니다. HOG 특징은 128 x 128 픽셀 크기의 셀을 사용하여 추출되었으며, 딥러닝 특징은 InceptionResNet-v2 네트워크의 ‘avg_pool’ 계층에서 얻었습니다. 이러한 특징들은 통합되어 포괄적인 특징 벡터를 형성했습니다. 섹션 4.2와 동일한 ML 모델은 이 결합된 특징에 대해 훈련되었으며, 하이퍼파라미터는 Bayesian 최적화로 최적화되었습니다.

결과

학습률과 학습 손실은 Figure 2(a)에서 보여주며, 모델의 조직 병리 이미지의 특정 특징에 대한 빠른 적응을 보여줍니다. 학습 손실이 안정화됨으로써 최적의 학습률이 달성되었음을 나타내고 있으며, 학습 손실의 약간의 변동은 데이터셋의 복잡한 특징에 대한 지속적인 조절을 반영하며 분류 오류를 줄이는 데 중점을 두는 역동적인 학습 과정을 보여줍니다. 모든 다섯 가지 클래스의 조직 병리 이미지에 대한 ROC 곡선은 Figure 2(b)에서 보여주며, 모든 클래스에서 높은 참 양성률과 낮은 거짓 양성률을 나타냅니다. 모델은 뛰어난 분류 정확도인 96.01%를 달성하며 평균 AUC는 96.8%로 매우 강력한 전반적인 성능을 보여줍니다.

특징 추출 후 여러 기계 학습 모델이 증강된 데이터셋에 대해 훈련되었으며, 하이퍼파라미터 튜닝은 Bayesian 최적화를 통해 수행되었습니다. 평가된 모델에는 Decision Tree, Gradient Boosting Machine(GBM), k-Nearest Neighbors(KNN), Neural Network 및 Support Vector Machine(SVM)이 포함됩니다. 이러한 모델의 성능은 AUC와 테스트 정확도 두 가지 주요 지표를 기반으로 평가되었습니다. 모델에 의해 얻어진 ROC 곡선은 Figure 3에서 보여지며, 왼쪽부터 오른쪽으로 가장 나쁜 성능과 가장 좋은 성능을 가진 모델이 나타납니다. Decision Tree 모델은 AUC 95.85%와 테스트 정확도 91.36%를 달성했습니다. 이는 탄탄한 성능을 보여주지만, 평가된 다른 모델들에 비해 상대적으로 낮습니다. GBM 모델에서는 AUC 99.77%와 테스트 정확도 98.05%를 달성하는 등 눈에 띄는 성능 향상이 있었습니다. KNN, SVM 및 Neural Network 모델은 각각 AUC와 테스트 정확도가 99% 이상을 달성하며 거의 완벽한 성능을 보였습니다. Figure 3(b)에서 제시된 Neural Network 모델은 이 실험에서 가장 높은 성능을 보인 모델로 AUC는 99.99%, 정확도는 99.72%를 달성했습니다.

이 연구에서는 HOG 특징과 사전 학습된 InceptionResNet-v2 네트워크에서 추출한 딥 특징을 결합하여 다양한 기계 학습 모델의 성능을 평가했습니다. InceptionResNet-v2에서만 딥 특징을 사용해 훈련된 모델에 비해 HOG 특징을 추가한 경우 대부분의 모델에서 성능이 크게 향상되었습니다.

Decision Tree는 AUC 95.04%와 테스트 정확도 93.83%를 달성하며 견고한 성능을 보였습니다. 반면, GBM 모델은 AUC 99.9%와 테스트 정확도 98.73%를 달성하는 등 크게 개선되었습니다. KNN 및 SVM 모델은 각각 AUC 99.82%, 정확도 99.8%와 AUC 99.96%, 정확도 99.40%를 달성하며 뛰어난 성능을 보였습니다. Neural Network 모델은 거의 완벽한 AUC 99.99%와 테스트 정확도 99.84%를 달성하여 가장 우수한 성능을 보였습니다.

신호-잡음 비율(SNR)이 모델 성능에 미치는 영향 평가

이 섹션에서는 연구에서 소개된 모든 모델의 신호-잡음 비율(SNR)이 모델 성능에 미치는 영향을 체계적으로 평가합니다. 다양한 수준의 잡음을 시뮬레이트하기 위해 데이터셋에 가우시안 잡음을 추가하여 SNR 수준을 40dB, 35dB 및 30dB로 설정했습니다. 이 노이지 데이터셋은 섹션 3.2, 3.3 및 3.4에서 설명된 다양한 방법으로 훈련된 모델의 강건성과 적응성을 평가하는 데 사용되었습니다.