Any2all 멀티모달 이미지 복원과 합성을 위한 통합 확산 프레임워크

초록

Any2all은 단일 무조건적 디노이징 확산 모델을 훈련시켜 멀티모달 의료 영상의 복원·합성을 하나의 가상 인페인팅 문제로 통합한다. 학습 후에는 측정 데이터(클린 이미지 혹은 노이즈·언더샘플링된 측정)와 일치하도록 두 가지 적응형 샘플링 알고리즘(MPS, MDS)을 적용해 원하는 모든 모달리티를 동시에 생성한다. PET·MRI·CT 뇌 데이터셋에서 기존 전용 모델들을 능가하는 왜곡 기반 지표와 뛰어난 지각 품질을 입증하였다.

상세 분석

본 논문은 멀티모달 의료 영상에서 흔히 발생하는 ‘데이터 불완전성’ 문제를 하나의 가상 인페인팅 문제로 재정의한다. 즉, n개의 목표 모달리티를 하나의 텐서 x=