다중모달 융합 확산 모델을 이용한 PET 이미지 복원

초록

본 논문은 저용량 PET(LPET)와 동시 획득된 MR 영상을 활용해 표준용량 PET(SPET)를 복원하는 새로운 프레임워크인 MFdiff를 제안한다. MFdiff는 intra‑modality learning과 cross‑modality aggregation으로 구성된 다중모달 특징 융합 모듈을 통해 PET와 MR의 전역·세부 정보를 효율적으로 결합하고, 이를 조건으로 하는 확산 모델을 이용해 고품질 SPET를 단계적으로 생성한다. 또한 대규모 합성 데이터로 일반화된 사전(prior)을 학습하고, 제한된 실제 OOD 데이터로 특수 사전을 미세조정하는 두 단계의 supervise‑assisted 학습 전략을 도입해 데이터 부족 및 도메인 편차 문제를 완화한다. 실험 결과, 기존 최첨단 방법들을 크게 능가하는 정량·정성 성능을 보인다.

상세 분석

MFdiff는 PET 복원 문제를 두 가지 핵심 과제로 나눈다. 첫 번째는 저용량 PET와 MR 사이의 구조·텍스처 불일치로 인한 부정확한 정보 전파를 억제하면서, 두 번째는 실제 임상 환경에서 흔히 발생하는 out‑of‑distribution(OOD) 데이터에 대한 일반화 능력을 확보하는 것이다. 이를 위해 저자들은 다중모달 특징 융합 모듈을 설계했으며, 이 모듈은 Intra‑Modality Learning(IML)과 Cross‑Modality Aggregation(CMA) 두 서브모듈로 구성된다. IML에서는 각각의 모달리티에 대해 Transformer 기반의 Modality Encoder를 별도로 두어 전역적인 컨텍스트와 지역적인 세부 정보를 동시에 추출한다. 이후 Global/Detailed Encoder를 통해 PET와 MR을 전역 특징(GP, GM)과 세부 특징(DP, DM)으로 분리하고, 전역 특징 간의 일관성을 강화하면서 세부 특징은 각 모달리티의 고유성을 유지하도록 설계하였다. CMA 단계에서는 채널 결합, 요소별 곱셈·덧셈 등을 활용해 최적의 융합 특징을 학습하고, 불필요한 MR‑PET 불일치 정보를 억제한다.

조건부 확산 복원 모듈은 위에서 얻은 융합 특징을 조건으로 받아, DDPM(denoising diffusion probabilistic model)과 유사한 forward‑reverse 프로세스를 수행한다. 역확산 과정에서 융합 특징이 매 단계마다 노이즈 제거를 가이드함으로써, 기존 GAN 기반 방법이 겪는 모드 붕괴·샘플 다양성 부족 문제를 회피한다. 특히, Gaussian Perturbation과 Invertible Residual Block을 도입해 역전파 안정성을 높이고, Transformer Block을 삽입해 장거리 의존성을 보존한다.

데이터 부족 문제를 해결하기 위해 저자들은 두 단계의 supervise‑assisted 학습 전략을 제안한다. 1단계에서는 물리‑시뮬레이션을 통해 생성한 대규모 합성 LPET‑SPET‑MR 쌍을 이용해 일반화된 사전(prior)을 학습한다. 이 단계는 모델이 다양한 노이즈 레벨·해상도에 대한 기본적인 복원 능력을 갖추게 한다. 2단계에서는 실제 임상에서 수집된 제한된 OOD 데이터(스캐너 종류, 트레이서 종류, 스캔 시간 등 변동이 큰 데이터)를 사용해 모델을 미세조정한다. 이렇게 하면 모델이 특정 도메인에 특화된 세부 사전을 학습하면서도, 첫 단계에서 습득한 일반화된 지식을 유지한다.

실험에서는 Phantom 데이터와 실제 뇌 PET/MR 데이터 두 가지 벤치마크를 사용했으며, PSNR, SSIM, RMSE 등 정량 지표와 시각적 평가 모두에서 기존 2D/3D CNN, GAN, 그리고 직접적인 다중모달 DDPM 기반 방법들을 크게 앞섰다. 특히, OOD 상황에서의 성능 저하가 최소화된 점이 주목할 만하다. Ablation study를 통해 IML, CMA, 두 단계 학습 각각이 성능에 미치는 영향을 검증했으며, 각 모듈을 제거하거나 단일 단계 학습만 수행할 경우 복원 품질이 현저히 떨어지는 것을 확인했다.

전반적으로 MFdiff는 (1) 모달리티 간 불일치를 최소화하면서 유용한 해부학적 정보를 효과적으로 활용하는 융합 설계, (2) 확산 모델을 조건부로 적용해 고품질 샘플을 생성하는 복원 메커니즘, (3) 합성 데이터와 실제 OOD 데이터를 결합한 두 단계 학습으로 데이터 제한과 도메인 편차를 동시에 해결한다는 점에서 PET 복원 분야에 중요한 진전을 제공한다. 다만, 현재 구현은 2D 슬라이스 기반이며, 3D 볼륨 전체에 적용하려면 메모리·연산 효율성을 추가로 개선해야 할 필요가 있다.