다중모달 간암 종양 분할을 위한 확산 기반 이미지 합성 프레임워크

초록

Diff4MMLiTS는 네 단계 파이프라인으로, (1) 다중모달 CT의 대략적 정합, (2) 종양 마스크 확대 후 인페인팅으로 정상 CT 생성, (3) 라틴트 디퓨전 모델을 이용해 정밀히 정합된 종양 CT를 합성, (4) 합성·실제 데이터를 혼합해 분할 모델을 학습한다. 실제·내부 데이터셋에서 기존 최첨단 방법보다 DSC·JAC·SE·PRE 모두 향상된 성능을 보이며, 특히 정합이 어려운 임상 환경에서 데이터 부족 문제를 효과적으로 완화한다.

상세 분석

Diff4MMLiTS는 기존 다중모달 분할 연구가 전제하는 “완벽한 정합” 가정을 깨고, 정합이 불완전한 실제 임상 CT 데이터를 활용할 수 있게 설계되었다. 첫 단계에서는 각 위상(NC, AP, PVP, DELAY) CT를 대략적으로 정합하되, 종양 영역은 여전히 위치가 어긋난 상태를 유지한다. 이를 보완하기 위해 PVP 단계에서 방사선과가 제공한 종양 마스크를 5×5 구조적 폐쇄와 3×3 팽창으로 확대한다. 확대된 마스크는 Fast Fourier Convolution(FFC) 기반 인페인팅 네트워크(NCG)에 입력되어 종양이 제거된 “정상” CT를 생성한다. FFC는 로컬 컨볼루션과 전역 FFT 경로를 병렬로 처리해 고해상도 CT의 복잡한 조직 구조를 보존하면서 효율적인 인페인팅을 가능하게 한다.

두 번째 단계인 다중모달 CT 합성(MCS)에서는 사전 학습된 VQGAN 기반 자동인코더를 이용해 CT를 저차원 라틴트 공간(z)으로 압축한다. 라틴트 디퓨전 모델(LDM)은 시간 단계 t마다 가우시안 노이즈를 주입하고, 역전파 과정에서 종양 마스크(y)를 조건으로 삼아 점진적으로 종양을 삽입한다. 여기서 종양 마스크는 무작위 중심 좌표와 타원형 반축 길이를 설정한 뒤, 탄성 변형을 적용해 실제 종양 형태를 모사한다. 이렇게 생성된 라틴트 벡터는 디코더를 통해 각 위상별 CT 이미지로 복원되며, 각 위상은 자체적인 특성 매핑을 통해 동일한 종양 마스크를 공유하지만 텍스처와 강도는 위상마다 다르게 표현된다. 결과적으로 “완전 정합된” 다중모달 종양 CT 쌍이 대량으로 생성된다.

세 번째 단계는 합성된 데이터와 실제 데이터를 혼합해 분할 모델(MS)을 학습하는 것이다. MS는 3D U‑Net 구조를 기본으로 하며, Dice 손실과 Cross‑Entropy 손실을 가중합한 복합 손실(Lseg)로 최적화한다. 학습 시 실제 CT와 합성 CT를 동일 비율로 섞어 사용함으로써, 모델은 정합 오류와 데이터 편향에 강인해진다. 또한 입력 모달이 부족할 경우 부족한 모달을 복제해 입력 차원을 맞추는 전략을 적용해, 실사용 환경에서 모달 결손 문제도 완화한다.

실험에서는 자체 구축한 mmLiTS(45건, 4위상)와 공개 LiTS(단일 위상) 두 데이터셋을 사용했다. mmLiTS에서는 nnUNet 기반 베이스라인 대비 DSC가 2.68%p(79.02% vs 76.34%) 상승했으며, JAC, SE, PRE 모두 유의미하게 개선되었다. 특히 외부 LiTS 테스트에서는 실제 종양만으로 학습한 nnUNet이 41.63% DSC를 기록한 반면, Diff4MMLiTS는 57.75% DSC를 달성해 16.12%p의 큰 격차를 보였다. 이는 합성 데이터가 과적합을 방지하고, 모델의 일반화 능력을 크게 향상시킨다는 것을 입증한다. 또한 U‑Net, AttentionUNet, SwinUNETR 등 다양한 백본에 Diff4MMLiTS를 적용했을 때 모두 DSC가 1.5~6.5%p 상승하는 등 프레임워크의 백본 독립적 유연성을 확인했다.

핵심 기여는 세 가지이다. 첫째, 대략 정합된 다중모달 CT에서 마스크 확대·인페인팅을 통해 “정상” CT를 자동 생성함으로써 종양 제거 기반 합성 파이프라인을 구축했다. 둘째, 라틴트 디퓨전 모델을 활용해 대량의 완전 정합 다중모달 종양 CT를 효율적으로 합성함으로써 데이터 부족과 정합 오류 문제를 동시에 해결했다. 셋째, 합성·실제 데이터를 혼합 학습하는 하이브리드 전략이 다양한 백본과 데이터셋에 걸쳐 일관된 성능 향상을 가져옴을 실증했다. 이러한 설계는 향후 다른 장기(예: 뇌, 폐) 다중모달 종양 분할에도 확장 가능성을 시사한다.