의료 영상 분류를 위한 신경망 강건성 평가 시각화 방법

초록

본 논문은 3차원 정량적 신경영상 데이터를 이용해 알츠하이머병을 진단하는 CNN의 학습 과정을 시각화하고, 해당 시각화가 장기간 패턴과 영역의 일관성을 유지하는지를 검증한다. 또한 동일 데이터셋에 대해 여러 번 재학습한 결과를 시각화 기반 유사도 지표로 비교해 CNN 훈련이 초기화와 학습 과정에 크게 의존함을 밝혀냈다. 데이터 샘플이 적고 차원이 높은 의료 영상 분야에서 현재 딥러닝 기반 ROI 탐지가 아직 안정적이지 않음을 경고한다.

상세 분석

이 연구는 Fong·Vedaldi(2017)의 “입력 이미지 마스킹” 기법을 3D 정량적 뇌영상, 즉 구조적 MRI에서 추출한 회백질 확률지도에 적용한 것이 핵심이다. 기존 시각화 방법들은 2D 이미지에 최적화돼 있었으며, 의료 영상의 고차원 특성을 반영하기 어려웠다. 저자들은 마스크 최적화 과정을 3D 볼륨 전체에 확장함으로써, 특정 클래스(알츠하이머)와 연관된 뇌 영역을 정량적으로 강조할 수 있었다.

첫 번째 실험에서는 동일 환자를 장기간 추적한 데이터셋을 이용해, 시각화된 중요 영역이 시간에 따라 일관된 변화를 보이는지를 평가했다. 결과는 알츠하이머 진행과 연관된 해마, 측두엽, 전전두엽 등 알려진 병변 부위가 지속적으로 강조됨을 보여, 시각화가 실제 병리학적 변화를 포착한다는 점을 뒷받침한다.

두 번째 실험에서는 동일 데이터와 동일 네트워크 구조를 여러 번 재학습한 뒤, 각 학습 결과에 대한 시각화 맵을 비교했다. 저자들은 “시각화 기반 유사도 지표”(예: Dice coefficient, Pearson correlation)를 도입해 모델 간 차이를 정량화하였다. 지표는 학습마다 0.4~0.7 수준으로 크게 변동했으며, 이는 초기 가중치와 미니배치 순서에 따라 모델이 주목하는 뇌 영역이 크게 달라진다는 것을 의미한다.

이러한 불안정성은 데이터 샘플 수가 제한적이고 차원이 높은 상황에서 과적합(overfitting)과 최적화 경로의 다중성으로 설명될 수 있다. 저자들은 데이터 증강, 전이 학습, 혹은 베이지안 신경망과 같은 불확실성 추정 기법을 도입하면 안정성을 개선할 가능성을 제시한다. 또한, 시각화 결과를 임상적 해석에 직접 활용하기 전에 반드시 재현성 검증이 필요함을 강조한다.

결론적으로, 3D 시각화 기법은 CNN이 학습한 병변 패턴을 직관적으로 드러내는 강력한 도구이지만, 현재의 학습 프로세스 자체가 불안정하기 때문에 “어디를 보고 있는가”에 대한 해석을 신뢰하기 어렵다. 이는 의료 영상 분야 전반에 걸쳐 작은 데이터셋을 다루는 모든 딥러닝 연구에 적용될 수 있는 중요한 경고이다.