신뢰도 가중 듀얼 전문가 융합을 통한 의료 영상 통합

초록

W‑DUALMINE은 두 개의 전문가(전역 공간 전문가와 웨이브렛 주파수 전문가)를 결합하고, 밀집 신뢰도 맵으로 각 모달리티의 가중치를 동적으로 조정한다. 잔차‑대‑평균(fusion) 패러다임과 상관·상호정보 손실을 도입해 평균 이미지에 잔차를 더함으로써 전역 통계 유사도(Correlation Coefficient, Mutual Information)를 보존하면서 고주파 디테일을 강화한다. CT‑MRI, PET‑MRI, SPECT‑MRI 데이터셋에서 AdaFuse와 ASFE‑Fusion을 능가하는 CC·MI 성능을 기록한다.

상세 분석

W‑DUALMINE은 기존 공간‑주파수 기반 딥러닝 융합 모델이 겪는 “전역 통계와 지역 구조 사이의 트레이드‑오프” 문제를 구조적으로 해소하려는 시도로 눈에 띈다. 첫 번째 핵심은 밀집 신뢰도 맵(dense reliability map)이다. 각 스케일별 특징 맵을 1×1 컨볼루션으로 변환해 소프트플러스 활성화 후 정규화함으로써, 잡음이 많은 영역이나 아티팩트가 존재하는 부위의 기여도를 자동으로 억제한다. 이는 기존 방법이 단순히 전체 특징을 동일하게 처리하던 것과 달리, 모달리티별 신뢰성을 정량화해 가중합에 반영한다는 점에서 의미가 크다.

두 번째 핵심은 듀얼 전문가 구조다. 전역 컨텍스트 공간 전문가는 일반 3×3 컨볼루션과 dilation=2인 확장 컨볼루션을 병렬로 적용해 넓은 수용 영역을 확보한다. 이는 의료 영상에서 해부학적 일관성을 유지하는 데 유리하다. 반면 웨이브렛 주파수 전문가는 Haar DWT를 이용해 저주파(LL)와 고주파(LH, HL, HH)를 명시적으로 분리한다. 저주파는 신뢰도 가중 평균으로, 고주파는 절대값 최대 선택(max‑abs) 규칙으로 융합해 가장 뚜렷한 에지를 보존한다. 이러한 주파수‑전문가 설계는 전통적인 멀티스케일 변환의 해석성을 딥러닝에 자연스럽게 도입한 사례라 할 수 있다.

세 번째로 제안된 Soft Gradient Mixer(SGM)는 두 전문가의 출력을 Sobel 기반 그래디언트 맵으로 평가하고, 작은 CNN이 예측한 α 가중치를 통해 동적으로 혼합한다. “그래디언트가 큰 영역에서는 주파수 전문가의 기여를 높이고, 그래디언트가 약한 영역에서는 공간 전문가의 기여를 높인다”는 직관을 학습 가능한 형태로 구현한 점이 흥미롭다.

가장 독창적인 부분은 잔차‑대‑평균(Residual‑to‑Average) 융합 패러다임이다. 평균 이미지 I_avg = (I₁+I₂)/2는 선형 상관관계(Correlation Coefficient)를 최대로 유지하는 통계적 기준점이다. 여기서 네트워크가 예측한 잔차 R을 tanh와 λ=0.5 스케일링을 거쳐 더함으로써, 전역 통계는 그대로 유지하면서 세밀한 디테일만을 보강한다. 이 설계는 손실 함수에 포함된 L_cc(코사인 유사도)와 L_avg(ℓ₁ 평균 손실)와도 일관성을 갖는다.

손실 함수는 L_avg, L_grad, L_cc, L_mi(InfoNCE), L_rec의 가중합으로 구성된다. 특히 L_grad은 두 소스 이미지 중 최대 그래디언트를 목표로 하여 블러링을 방지하고, L_mi는 특징 레벨에서의 상호정보를 InfoNCE 방식으로 근사한다. 다만 L_mi의 가중치 λ₄=0.1이 비교적 낮게 설정돼, 실제 MI 향상에 기여하는 정도가 제한적일 수 있다.

실험에서는 24쌍의 정렬된 이미지(CT‑MRI, PET‑MRI, SPECT‑MRI) 각각에 대해 256×256 해상도로 학습·평가했다. AdaFuse와 ASFE‑Fusion 대비 CC와 MI에서 평균 2~3% 향상을 보고했으며, EN, PSNR, FM-I 등 보조 지표에서도 경쟁력을 유지한다. 그러나 데이터 양이 매우 제한적이며, 교차 검증이나 외부 병원 데이터에 대한 일반화 실험이 부족한 점은 한계로 남는다. 또한, DWT를 Haar 변환에 고정한 채로 사용했기 때문에, 복잡한 텍스처를 가진 경우 다른 웨이브렛(예: Daubechies)이나 학습 가능한 변환이 더 유리할 가능성이 있다.

종합하면, W‑DUALMINE은 신뢰도 기반 가중합, 듀얼 전문가 설계, 잔차‑대‑평균 융합이라는 세 가지 혁신적인 요소를 결합해 전역 통계와 지역 디테일을 동시에 최적화한다. 구조적 설계와 손실 함수가 서로 보완적으로 작동하도록 설계된 점이 강점이며, 제한된 데이터와 고정된 웨이브렛 선택이라는 실험적 제약이 향후 연구에서 보완될 필요가 있다.