Fuse4Seg: 의료 영상 분할을 위한 다중 모달 이미지 융합 및 이중 레벨 최적화

초록

Fuse4Seg는 다중 모달 의료 영상을 단일 채널로 융합하고, 이를 바로 아래 단계의 종양 분할 네트워크에 연결하는 이중 레벨(바이레벨) 최적화 프레임워크이다. 융합 네트워크는 분할 네트워크에서 역전파된 의미론적 그래디언트를 직접 받아 파라미터를 업데이트하고, 동시에 저주파·고주파를 분리해 물리적 일관성을 유지하도록 Frequency Decomposition Loss와 Spatial Gradient Loss로 정규화한다. 실험 결과, 기존의 다채널 입력 방식보다 높은 분할 정확도를 달성하면서도 시각적으로 해석 가능한 단일 이미지(‘유리 상자’)를 제공한다.

상세 분석

본 논문은 의료 영상 융합과 분할을 별개의 전처리·후처리 단계로 보는 기존 패러다임을 근본적으로 재구성한다. 핵심 아이디어는 융합 네트워크를 ‘리더’(상위 레벨)로, 분할 네트워크를 ‘팔로워’(하위 레벨)로 설정하고, Stackelberg 게임 형태의 협력적 바이레벨 최적화 문제로 수식화한 것이다. 이때 융합 파라미터 θ_f는 분할 손실 L_seg(Ψ(Φ(x₁,x₂;θ_f);θ_s), y)과 물리적 정규화 항 L_fuse(θ_f) = α·L_decomp + β·L_grad 로 구성된 상위 목표를 최소화한다. 하위 레벨에서는 θ_s가 현재 θ_f에 대해 L_seg를 최소화하도록 학습한다.

1. 바이레벨 최적화 구현

   • 직접적인 이중 최적화는 계산 비용이 prohibitive하므로, 저자들은 2단계 교대 학습 전략을 제안한다. 첫 단계는 ‘팔로워 워밍업’으로, 융합 파라미터를 고정하고 평균 이미지(x_avg)로 초기 분할 모델을 학습한다. 이는 초기 의미론적 신호가 충분히 확보된 상태에서 리더 업데이트가 시작되도록 보장한다.
   • 두 번째 단계는 ‘비대칭 바이레벨 롤아웃’이다. 각 배치마다 환자 수준으로 트레이닝/밸리데이션 데이터를 분리하고, 트레이닝 세트에서 K번(보통 3~5회) 분할 네트워크를 업데이트한 뒤, 밸리데이션 세트에서 역전파된 의미론적 그래디언트를 이용해 융합 네트워크를 한 번 업데이트한다. 이 비대칭 구조는 ‘팔로워가 충분히 최적화된 상태’를 유지하면서 리더가 의미론적 압력을 지속적으로 받게 만든다.

2. 주파수 분리 인코더

   • 저주파와 고주파를 명시적으로 분리하는 설계는 의료 영상의 물리적 특성을 반영한다. 저주파는 Restormer 기반의 전역 컨텍스트와 MSA·MLP 블록으로 처리해 전반적인 조직 대비와 해부학적 형태를 포착한다. 고주파는 Haar 웨이브렛 변환을 이용한 INN(Invertible Neural Network) 블록으로 구현해, 역전파 시 손실이 전혀 발생하지 않도록 설계하였다. INN은 변환 전후에 정보가 완전 보존되므로, 미세한 종양 경계와 혈관 구조 같은 고주파 신호가 융합 과정에서 소실되지 않는다.

3. 학습 가능한 융합 유닛

   • 두 주파수 스트림을 단순 평균이 아닌, 각각 H_low와 H_high라는 학습 가능한 모듈을 통해 가중합한다. H_low는 MSA·MLP를, H_high는 연속 INN 블록을 사용해 의미론적 그래디언트에 따라 동적으로 중요도를 조정한다. 이렇게 하면 ‘의미론적 압력’이 직접적으로 융합 단계에 반영되어, 분할에 가장 유리한 형태의 단일 채널 이미지를 생성한다.

4. 물리적 정규화 손실

   • L_decomp은 저·고주파 성분을 각각 원본 이미지와 비교해 재구성 오차를 최소화함으로써, 융합 이미지가 물리적으로 왜곡되지 않도록 한다. L_grad은 이미지의 공간적 그라디언트를 보존하도록 설계돼, 경계가 부드러워지는 현상을 억제한다. 추가적으로 L_recon(재구성 손실)은 원본 모달리티를 복원하도록 강제해, 융합 이미지가 ‘광학적으로도 타당한’ 모습을 유지하게 만든다.

5. 실험 및 결과

   • 다중 스케일 MRI·FLAIR·PET 등 34가지 모달리티를 사용한 공개 데이터셋(예: BraTS, ISLES)에서, Fuse4Seg는 기존 다채널 U‑Net, nnU‑Net, 그리고 최신 Transformer 기반 멀티모달 분할 모델보다 평균 Dice 점수 24%p 상승을 기록했다. 특히 고주파가 중요한 소규모 병변(미세 종양, 혈관 병변)에서 성능 격차가 크게 나타났다.
   • 또한, 단일 채널 융합 이미지 자체가 시각적으로 해석 가능하도록 제공되므로, 임상의가 자동 분할 결과를 검증하거나, 모델이 놓친 영역을 직접 확인할 수 있다. 이는 ‘블랙박스’ 문제를 크게 완화한다는 점에서 임상 적용 가능성을 높인다.

6. 한계와 향후 과제

   • 현재는 두 모달리티(또는 평균 23개)만을 대상으로 실험했으며, 56개 이상의 고차원 모달리티에 대한 확장성 검증이 부족하다. 또한, 바이레벨 최적화의 수렴 특성을 이론적으로 분석한 부분이 없으며, 하이퍼파라미터(K, α, β, γ 등)에 대한 민감도 연구가 필요하다. 향후 연구에서는 자동 하이퍼파라미터 튜닝, 멀티‑리더(다중 융합 네트워크) 구조, 그리고 실시간 임상 워크플로우에의 통합을 목표로 할 수 있다.