두 단계 GAN을 이용한 폐결절 CT 이미지 합성 및 다양성 향상

초록

본 논문은 폐결절 CT 데이터의 부족과 다양성 결여 문제를 해결하기 위해, 형태 정보를 담당하는 마스크를 StyleGAN으로 생성하고, 이를 기반으로 DL‑Pix2Pix 모델에 로컬 중요도와 동적 가중치 멀티‑헤드 윈도우 어텐션을 적용해 고품질 CT 이미지를 합성하는 두 단계 생성적 적대 신경망(TSGAN)을 제안한다. LUNA16 데이터셋에 적용한 실험에서 검출 정확도가 4.6%, mAP가 4% 향상되었다.

상세 분석

TSGAN은 기존 3D GAN 기반 폐결절 합성 방법이 갖는 위치·배경 다양성 부족과 형태 제어 한계를 극복하기 위해 “형태‑텍스처 분리” 전략을 채택한다. 첫 번째 단계에서는 StyleGAN을 활용해 512×512 해상도의 의미론적 마스크를 생성한다. 여기서 마스크는 배경, 좌우 폐, 기관지, 결절 영역을 서로 다른 라벨(0~5)로 구분하여 해부학적 구조를 명시적으로 제어한다. StyleGAN의 잠재공간 z → w 변환과 레이어‑와이즈 노이즈 주입을 통해 다양한 결절 형태와 위치를 자유롭게 샘플링할 수 있다. 손실 함수는 기존 StyleGAN과 동일하게 경사 페널티와 드리프트 정규화를 포함해 훈련 안정성을 확보한다.

두 번째 단계는 DL‑Pix2Pix이며, 기존 Pix2Pix에 두 종류의 어텐션 모듈을 삽입해 텍스처와 배경 정보를 정교하게 재현한다. 첫 번째인 Local Importance‑based Attention(LIA)은 스킵 연결에 적용돼, 동적 소프트 풀링과 히트맵 생성·채널 게이팅을 결합한다. 이를 통해 중요한 국소 영역(예: 결절 경계)의 강조와 동시에 연산 비용을 최소화한다. 두 번째인 Dynamically Weighted Multi‑Head Window Attention(DWMH)은 UNet의 병목층에 배치돼, 윈도우 기반 분할을 통해 전역적인 컨텍스트를 포착하면서도 멀티‑헤드 어텐션의 표현력을 유지한다. DWMH는 각 헤드에 학습 가능한 가중치를 부여해 초기 단계에서 과도한 업데이트를 억제하고, 점진적으로 헤드 간 기여도를 조정한다.

생성 이미지의 품질을 평가하기 위해 총 세 가지 손실을 결합한다. (1) adversarial loss로 전체적인 사실성을, (2) L1 픽셀‑레벨 손실로 고주파 디테일 보존을, (3) VGG‑19 기반 퍼셉추얼 손실로 구조적·시멘틱 일관성을 강화한다.

실험에서는 LUNA16 데이터셋(888개 CT 스캔, 1,186개 슬라이스)을 전처리해 폐 실질을 추출하고, 마스크‑이미지 쌍을 COCO 포맷으로 변환해 검출 모델(Faster‑RCNN 등)에 학습시켰다. TSGAN으로 증강된 데이터는 원본 대비 검출 정확도가 4.6%p, mAP가 4%p 상승했으며, 시각적으로도 결절 형태와 주변 조직이 자연스럽게 재현되는 것을 확인했다.

핵심 기여는 (1) 마스크 기반 구조 제어를 통해 결절 위치·형태를 자유롭게 지정할 수 있게 한 점, (2) LIA와 DWMH를 결합해 로컬·글로벌 텍스처를 동시에 강화한 점, (3) 기존 3D GAN 대비 더 높은 다양성과 제어성을 제공하면서도 2D 기반 구현으로 학습 효율성을 높인 점이다. 다만, 2D 슬라이스 기반 접근이 3D 연속성을 완전히 보존하지 못한다는 한계와, 마스크 생성 단계에서 StyleGAN의 훈련 비용이 여전히 높다는 점이 남는다. 향후 연구에서는 3D 마스크‑이미지 쌍을 직접 생성하거나, 라벨‑조건부 잠재공간 탐색을 통해 임상적 요구에 맞는 결절 특성을 정밀히 조정하는 방안을 모색할 수 있다.