노이즈이미지와 이미지투이미지 GAN 결합으로 뇌 MRI 종양 검출 향상

초록

본 논문은 두 단계의 GAN 기반 데이터 증강 방식을 제안한다. 첫 단계에서는 Progressive Growing of GANs(PGGAN)으로 256 × 256 해상도의 뇌 MRI 영상을 노이즈‑이미지 방식으로 생성하고, 두 번째 단계에서는 MUNIT 혹은 SimGAN을 이용해 생성된 영상의 텍스처와 형태를 실제 영상에 가깝게 정제한다. 정제된 합성 영상을 기존의 클래식 데이터 증강과 함께 학습에 활용한 결과, 종양 검출 민감도가 93.67 %에서 97.48 %로 크게 향상되었으며, ImageNet 사전학습 및 품질이 낮은 합성 영상 제거가 성능에 미치는 영향도 분석하였다.

상세 분석

이 연구는 의료 영상 분야에서 데이터 부족 문제를 해결하기 위해 두 종류의 GAN을 순차적으로 결합한 새로운 데이터 증강 파이프라인을 설계하였다. 첫 번째 모듈인 PGGAN은 저해상도에서 시작해 단계적으로 레이어를 추가함으로써 256 × 256 픽셀의 고해상도 뇌 MRI 영상을 생성한다. 저해상도 단계에서 학습이 안정적이며, 점진적인 성장 과정은 모드 붕괴와 아티팩트 발생을 최소화한다. 논문에서는 Wasserstein loss와 gradient penalty를 적용해 판별기의 Lipschitz 연속성을 보장하고, 배치 크기 16, 학습률 1e‑3, β1=0, β2=0.99의 Adam 옵티마이저 설정으로 100 epoch 학습하였다. 또한, 실제 데이터와 동일한 전처리(240 × 240 중앙 크롭 후 256 × 256 zero‑padding)를 적용해 도메인 차이를 최소화하였다.

두 번째 모듈은 이미지‑투‑이미지 변환 GAN인 MUNIT과 SimGAN 중 하나를 선택해 PGGAN이 만든 합성 영상의 시각적 품질을 정제한다. MUNIT은 두 개의 도메인(종양, 비종양) 각각에 대해 별도의 인코더·디코더와 스타일 변수를 도입해 내용(content)과 스타일을 분리한다. 이를 통해 텍스처와 형태를 실제 영상과 유사하게 조정하면서도 다양성을 유지한다. 손실 함수는 재구성 손실, GAN 손실, 사이클 일관성 손실, VGG 기반 퍼셉추얼 손실을 포함하며, 각 손실에 가중치를 부여해 균형을 맞춘다. SimGAN은 정제 네트워크에 self‑regularization term을 추가해 합성 영상이 원본과 크게 차이나지 않도록 제한한다. 두 모델 모두 배치 크기 1, 학습률 1e‑4, 100 000 스텝(또는 20 000 스텝마다 학습률 절반 감소)로 학습하였다.

정제된 합성 영상을 ResNet‑50 기반 이진 종양 분류기에 투입하기 전, ImageNet 사전학습 여부와 “이상치” 합성 영상(시각적 Turing 테스트에서 전문가가 비현실적이라고 판단한 이미지) 제거 효과를 실험했다. t‑SNE 시각화를 통해 정제 전후의 합성 영상이 실제 데이터와 점점 더 겹치는 것을 확인했으며, 이는 분류기 학습 시 데이터 분포의 겹침을 증가시켜 일반화 성능을 높이는 요인으로 작용한다.

실험 결과, 클래식 데이터 증강(회전·좌우반전·강도 변환)만 사용했을 때의 민감도 93.67 %에 비해, PGGAN + MUNIT(또는 SimGAN) 정제 영상을 추가한 경우 97.48 %까지 상승하였다. 특히, ImageNet 사전학습 모델에 정제된 합성 영상을 결합했을 때 가장 큰 성능 향상이 관찰되었으며, 이상치 영상을 제거하면 오히려 과적합 위험이 감소한다. 이러한 결과는 고해상도 전체 이미지 생성과 텍스처 정제가 결합될 때, 작은 ROI 기반 생성보다 전체적인 도메인 커버리지가 더 효과적임을 시사한다.

본 논문의 주요 기여는 (1) 전체 뇌 MRI를 256 × 256 해상도로 생성하는 PGGAN 기반 노이즈‑이미지 GAN을 최초로 적용한 점, (2) 이미지‑투‑이미지 GAN을 통해 생성 영상의 품질을 정제함으로써 데이터 증강 효과를 극대화한 점, (3) 사전학습 모델과 이상치 제거 전략이 작은 의료 데이터셋에서 민감도 향상에 미치는 영향을 체계적으로 분석한 점이다. 향후 연구에서는 다중 모달(MRI + CT) 데이터에 대한 확장, GAN‑기반 라벨링 자동화, 그리고 임상 현장에서의 실시간 적용 가능성을 탐색할 수 있다.