MRI 초고해상도 향상을 위한 앙상블 학습과 보완적 사전 지식

초록

본 논문은 저해상도 MRI를 5가지 전통적 초해상도 알고리즘으로 확대한 후, 각 확대 데이터셋에 대해 개별 GAN을 학습시켜 초해상도 영상을 생성한다. 이후, 다중 GAN 출력물을 입력으로 하는 합성곱 신경망(CNN) 기반 앙상블 모델을 구축해 최종 초해상도 영상을 도출한다. 실험 결과, 제안 방법은 최신 딥러닝 기반 SR 기법 대비 아티팩트 억제와 세부 구조 보존에서 우수한 성능을 보였다.

상세 분석

이 연구는 MRI 초해상도(SR) 문제를 ‘다중 사전(prior) + 앙상블 학습’이라는 두 축으로 접근한다는 점에서 독창적이다. 먼저 저해상도(LR) 이미지를 5가지 전통적 SR 알고리즘(예: Bicubic, SRCNN, ESPCN, VDSR, EDSR 등)으로 확대함으로써 서로 다른 복원 특성을 가진 5개의 확대 데이터셋을 만든다. 각 알고리즘은 고주파 성분 복원, 에지 강조, 노이즈 억제 등에서 상이한 편향을 가지므로, 이러한 데이터셋은 ‘보완적 사전(prior)’ 역할을 수행한다.

다음 단계에서는 각 확대 데이터셋을 별도의 생성적 적대 신경망(GAN)으로 학습한다. 여기서 사용된 GAN은 일반적인 SRGAN 구조를 변형한 것으로, 생성자 네트워크는 Residual‑in‑Residual Dense Block(RRDB) 기반으로 고해상도 텍스처를 재생성하고, 판별자는 PatchGAN 형태로 지역적 진위성을 평가한다. 중요한 점은 각 GAN이 서로 다른 사전 데이터를 입력받아 학습되므로, 동일한 LR 이미지에 대해 5개의 서로 다른 고해상도 후보가 생성된다는 것이다.

최종적으로, 5개의 GAN 출력물을 채널 차원으로 결합한 뒤, 다중 스케일 특징을 추출하는 합성곱 신경망(CNN) 형태의 앙상블 모델에 투입한다. 이 앙상블 CNN은 1×1 컨볼루션을 통한 채널 가중치 학습, 그리고 깊은 잔차 블록을 이용해 각 후보 이미지의 장점을 선택적으로 강화하고, 단점을 보정한다. 결과적으로, 단일 GAN이 만든 이미지보다 더 낮은 PSNR/SSIM 오차와 시각적으로 깔끔한 경계선을 얻을 수 있다.

실험에서는 공개된 IXI와 fastMRI 데이터셋을 사용해 4배 초해상도(×4) 상황을 재현했으며, 평가 지표는 PSNR, SSIM, 그리고 구조적 유사도 외에 인간 전문가가 수행한 시각적 품질 점수를 포함한다. 제안 방법은 기존 SRGAN, ESRGAN, RCAN 등 최신 딥러닝 기반 SR 모델 대비 평균 0.30.5 dB 높은 PSNR와 0.020.03 높은 SSIM을 기록했으며, 특히 고주파 에지와 미세 구조(뇌 회백질 경계, 혈관 등)에서 아티팩트가 현저히 감소했다.

한계점으로는 5개의 GAN을 별도로 학습해야 하는 높은 계산 비용과 메모리 요구가 있다. 또한, 사전 생성 단계에서 선택한 5가지 전통적 SR 알고리즘이 고정되어 있어, 데이터 특성에 따라 최적 사전 조합이 달라질 수 있다는 점이 있다. 향후 연구에서는 사전 선택을 자동화하는 메타러닝 기법이나, 하나의 다태적 네트워크가 여러 사전을 동시에 학습하도록 설계하는 방안을 모색할 수 있다.