조기 개입 기반 다중모달 영상 질병 인식 프레임워크

초록

본 논문은 다중모달 의료 영상에서 기존의 “단일 모달 임베딩 후 융합” 방식을 탈피하여, 한 모달을 목표로 삼고 나머지 모달의 고수준

상세 분석

본 연구는 두 가지 핵심 문제를 동시에 해결한다. 첫째, 다중모달 영상에서 서로 다른 모달리티가 제공하는 보완적·상관적 정보를 ‘후처리’ 단계에서만 결합하는 기존 패러다임은 임베딩 단계에서 이미 존재하는 풍부한 의미 정보를 충분히 활용하지 못한다는 점이다. 저자는 임상 의사가 한 영상에서 얻은 초기 해석을 다른 영상 해석에 즉시 반영하는 과정을 모방해, 목표 모달리티의 Conv 레이어 출력 직후에 참조 모달리티들의