모달리티 결손 예측 영향 정량화와 PRIMO 모델

초록

PRIMO는 관측된 모달리티와 결손된 모달리티 사이의 관계를 잠재 변수 z로 모델링하여, 결손 모달리티가 예측에 미치는 영향을 정량화한다. 완전 데이터와 부분 결손 데이터를 모두 활용해 학습하며, 추론 시 z를 샘플링해 예측 분포와 변동성을 추정한다. 실험 결과, PRIMO는 단일 모달리티와 다중 모달리티 기준선에 근접한 성능을 보이며, 인스턴스 수준에서 모달리티 영향도를 변동성 기반 지표 V로 제공한다.

상세 분석

PRIMO는 기존 멀티모달 학습이 전제하는 “모든 모달리티가 항상 존재한다”는 가정을 완화한다는 점에서 혁신적이다. 핵심 아이디어는 결손된 모달리티 x_m을 직접 복원하려는 것이 아니라, 예측에 필요한 정보만을 함축한 연속 잠재 변수 z를 도입하는 것이다. 이를 위해 저자들은 두 가지 ELBO(증거 하한)를 동시에 최적화한다. 첫 번째 ELBO는 x_o와 x_m이 모두 존재할 때의 완전 데이터에 적용되며, 변분 후방 qϕ(z|x_o,x_m,y)와 조건부 사전 p_ω(z|x_o,x_m)를 사용한다. 두 번째 ELBO는 x_m이 결손된 경우에 적용되며, qϕ(z|x_o,y)와 p_ω(z|x_o)를 이용한다. 두 사전은 각각 평균이 0, 공분산이 I인 정규분포에 정규화하여 “시프트 대칭” 문제를 방지하고, KL 발산을 통해 잠재 공간의 구조를 일관되게 유지한다.

학습 과정에서 재구성 손실을 배제하고 오직 예측 손실(log pθ(y|x_o,z))만을 최적화함으로써, z는 입력 모달리티가 예측에 미치는 영향을 직접 반영한다. 이는 기존 VAE 기반 멀티모달 모델이 입력 재구성에 과도하게 집중해 예측 성능이 저하되는 문제를 회피한다. 또한, 배치 정규화와 고정 스케일 γ를 활용해 posterior collapse 현상을 억제한다는 실용적인 트릭도 포함한다.

추론 단계에서는 조건부 사전 p_ω(z|x_o) 혹은 p_ω(z|x_o,x_m)에서 K개의 샘플을 뽑아 pθ(y|x_o,z) 를 평균한다. 여기서 중요한 것은 샘플별 예측 분포의 변동성을 측정하는 V = E_z