불확실성 인식 비전‑언어 멀티모달 의료 영상 분할

초록

본 논문은 방사선 영상과 임상 텍스트를 동시에 활용하는 새로운 멀티모달 분할 프레임워크를 제안한다. Modality Decoding Attention Block(MoDAB)과 경량 State Space Mixer(SSMix)를 결합해 효율적인 교차‑모달 융합과 장거리 의존성 모델링을 구현하고, Spectral‑Entropic Uncertainty(SEU) 손실을 통해 공간 겹침, 스펙트럼 일관성, 예측 불확실성을 하나의 목표로 통합한다. QATA‑COVID19, MosMed++, Kvasir‑SEG 등 공개 데이터셋에서 기존 최첨단 모델 대비 높은 Dice 점수와 낮은 연산 비용을 달성함으로써, 의료 영상 분할에서 불확실성 모델링과 구조화된 모달리티 정렬의 중요성을 강조한다.

상세 분석

이 논문은 의료 영상 분할에 텍스트 보고서를 보조 정보로 활용하면서도, 불확실성을 정량화하는 세 가지 핵심 요소를 설계한다. 첫 번째는 Modality Decoding Attention Block(MoDAB)이다. MoDAB는 시각적 토큰에 대해 Multi‑Head Self‑Attention(MHSA)을 적용해 이미지 내부의 장거리 상관관계를 포착하고, 이어서 Multi‑Head Cross‑Attention(MHCA)로 텍스트 임베딩을 키와 밸류로 사용해 시각적 쿼리와 정렬한다. 여기서 텍스트는 선형 변환 후 State Space Mixer(SSMix)로 전처리되며, 이는 기존 Transformer 기반 교차‑주의보다 파라미터와 연산량이 크게 감소한다. SSMix은 텍스트 시퀀스를 1‑D depthwise convolution과 선택적 상태공간 모델(Selective State Space Model)을 결합해 전역적인 시간‑스케일 의존성을 효율적으로 학습한다. 특히, Δ 파라미터를 Softplus로 재파라미터화해 수치적 안정성을 확보하고, 게이팅 벡터 E를 도입해 동적 메모리 커널을 조절함으로써 텍스트 정보가 이미지 피처에 과도하게 편향되지 않도록 설계했다. 두 번째 핵심은 Spectral‑Entropic Uncertainty(SEU) 손실이다. SEU는 Dice‑Like 겹침 손실, 스펙트럼 일관성을 위한 Fourier 기반 정규화, 그리고 픽셀‑단위 엔트로피를 이용한 불확실성 항을 가중합한다. 이렇게 하면 모델이 경계가 흐릿하거나 노이즈가 많은 영역에서 높은 엔트로피를 보이며, 학습 단계에서 불확실한 영역에 더 큰 페널티를 부여해 과신을 억제한다. 세 번째는 전체 아키텍처의 경량성이다. 시각 인코더로 ConvNeXt‑Tiny, 텍스트 인코더로 BioViL‑CXR‑BERT를 고정(frozen) 사용함으로써 파인튜닝 비용을 최소화하고, MoDAB와 SSMix이 차지하는 연산량을 기존 ViT‑기반 교차‑주의 대비 30% 이하로 감소시켰다. 실험에서는 QATA‑COVID19(흉부 X‑ray), MosMed++(CT), Kvasir‑SEG(내시경) 세 데이터셋에서 평균 Dice 0.89 이상, 연산량(FLOPs) 1.2 GFLOPs를 기록, nnU‑Net, TransUNet, CMIRNet 등과 비교해 2‑4% 포인트의 성능 향상과 40% 이상의 추론 속도 개선을 보였다. 그러나 몇 가지 한계도 존재한다. 첫째, 텍스트 인코더를 고정했기 때문에 도메인‑특화된 의료 용어에 대한 미세 조정이 제한된다. 둘째, SSMix의 하이퍼파라미터(γ, d_inner 등)가 데이터셋마다 민감하게 변동할 수 있어 자동 튜닝이 필요하다. 셋째, 불확실성 항의 가중치 λ가 실험에 따라 크게 달라지며, 최적값을 찾지 못하면 오히려 성능 저하를 초래할 수 있다. 전반적으로 MoDAB‑SSMix 구조와 SEU 손실은 멀티모달 의료 분할에서 효율성과 신뢰성을 동시에 추구하는 새로운 설계 패러다임을 제시한다.