불완전 데이터에도 강한 멀티모달 트랜스포머 MARIA

초록

MARIA는 의료 현장에서 흔히 발생하는 다중모달 데이터의 결측 문제를 해결하기 위해 설계된 트랜스포머 기반 모델이다. 중간 융합(intermediate fusion) 구조와 마스크된 셀프‑어텐션 메커니즘을 활용해, 결측값을 인공적으로 채우지 않고도 가용한 정보만으로 학습·추론한다. 8개의 진단·예후 과제와 10개의 최신 베이스라인을 대상으로 실험한 결과, 데이터 결측률이 증가할수록 기존 방법보다 뛰어난 성능과 안정성을 보였다.

상세 분석

본 논문은 의료 데이터의 다중모달 특성과 결측 현상이 모델 성능에 미치는 영향을 체계적으로 고찰한 뒤, 이를 극복하기 위한 새로운 아키텍처 MARIA를 제안한다. 핵심 설계는 세 가지 요소로 요약된다. 첫째, 각 모달리티별 전용 인코더를 두어 초기 특징을 추출하고, 이를 공유 어텐션 레이어에 입력함으로써 모달리티 간 상호작용을 학습한다. 둘째, 기존 트랜스포머의 패딩 마스크를 확장한 ‘마스크드 셀프‑어텐션’ 메커니즘을 도입해, 결측된 토큰(특징) 자체를 완전히 무시한다. 이는 결측값을 대체하는 전통적 임퓨테이션(imputation) 방식이 초래할 수 있는 편향과 정보 손실을 근본적으로 차단한다. 셋째, 중간 융합(intermediate fusion) 전략을 채택함으로써, 초기 모달리티‑특화 표현을 보존하면서도 공유된 멀티모달 표현을 학습한다. 이 구조는 조기 융합(early fusion)의 전처리 복잡성 및 결측 민감성을 피하고, 후기 융합(late fusion)의 교차 모달리티 상관관계 손실을 보완한다.

실험 설계는 8개의 의료 과제(예: COVID‑19 진단, 알츠하이머 진행 예측 등)와 10개의 베이스라인(전통적 머신러닝, 멀티모달 딥러닝, 최신 트랜스포머 변형)을 포함한다. 각 과제마다 결측률을 0%부터 70%까지 단계적으로 증가시켜 모델의 ‘레질리언스’를 평가하였다. 결과는 MARIA가 결측률 30% 이하에서는 모든 베이스라인을 평균 4.2%p(percentage points) 이상 앞섰으며, 50% 이상에서는 성능 저하 폭이 최소 1.8%p에 그쳐 기존 방법보다 현저히 안정적임을 보여준다. 특히, 결측이 특정 모달리티(예: 영상)에서 집중될 때도 다른 모달리티의 정보를 효과적으로 재활용해 전체 성능을 유지한다.

또한, 마스크드 어텐션의 계산 복잡도는 기존 트랜스포머와 동일하게 O(N²)이며, 결측 마스크 적용으로 오히려 메모리 사용량이 감소한다는 부수적 장점이 있다. 저자들은 모델 학습 시 결측 마스크를 동적으로 업데이트함으로써, 훈련 단계에서도 결측 패턴을 반영하도록 설계했으며, 이는 테스트 시에도 동일한 메커니즘으로 적용되어 일관된 추론을 가능하게 한다.

한계점으로는 결측이 전혀 없는 완전 데이터 상황에서 MARIA가 약간의 성능 손실을 보일 수 있다는 점과, 모달리티별 인코더 설계가 도메인에 따라 맞춤형 튜닝이 필요하다는 점을 언급한다. 향후 연구에서는 자동화된 인코더 설계와 결측 패턴을 사전 학습하는 메타‑러닝 접근을 제안한다.

전반적으로 MARIA는 결측 데이터가 빈번한 의료 현장에 실용적인 솔루션을 제공하며, 트랜스포머 기반 멀티모달 학습에 새로운 패러다임을 제시한다.