듀얼 스테이지 압축과 에너지 기반 재구성으로 강인한 멀티모달 융합

초록

DCER는 오디오와 비디오에 각각 웨이블릿·DCT 변환을 적용해 잡음을 제거하고, 학습 가능한 쿼리 토큰을 이용한 교차‑모달리티 병목을 통해 진정한 통합을 강제한다. 결손된 모달리티는 에너지 기반 역전파로 복원되며, 최종 에너지 값이 불확실성을 정량화한다. CMU‑MOSI, CMU‑MOSEI, CH‑SIMS에서 기존 최첨단 모델들을 능가하는 성능을 기록한다.

상세 분석

본 논문은 멀티모달 감성 분석에서 두 가지 핵심 취약점—노이즈에 취약한 표현과 모달리티 결손에 의한 예측 실패—을 동시에 해결하고자 한다. 첫 번째 단계인 ‘모달리티 내부 압축’에서는 오디오에 3‑레벨 이산 웨이블릿(DWT), 비디오에 2‑차원 DCT를 적용해 고주파 잡음을 크게 억제한다. 특히 웨이블릿 기반의 다중 스케일 디테일 계수를 학습 가능한 형태로 재구성함으로써 감정에 유의미한 주파수 대역을 강조한다. 텍스트는 이미 고차원 임베딩 형태이므로 사전 학습된 RoBERTa를 그대로 사용하고, 선형 프로젝션을 통해 차원을 맞춘다.

두 번째 단계인 ‘교차‑모달리티 병목’은 K개의 학습 가능한 쿼리 토큰(Q)을 도입해 모든 모달리티를 동시에 attend하도록 설계하였다. 이 토큰들은 전체 시퀀스 길이보다 현저히 작은 차원을 갖기 때문에 정보 흐름이 강제적으로 제한된다(Information Bottleneck). 결과적으로 각 모달리티가 독립적인 경로를 형성하는 것을 방지하고, 진정한 상호 보완적 특징이 병합된다. 논문에서는 4개의 토큰과 6개의 Fusion Transformer 레이어를 사용했으며, 이는 실험적으로 최적의 트레이드‑오프를 제공한다.

결손 모달리티 복원은 에너지 기반 모델(EBM)로 수행된다. 에너지 함수 Eθ(hm;Z)=fθ(hm−CrossAttn(hm,Z))+λ·gθ(hm) 로 정의되며, 여기서 fθ와 gθ는 MLP로 구현된 스칼라 에너지와 정규화 항이다. 초기값은 병목 표현 Z와 관측된 모달리티를 입력으로 하는 μθ 네트워크가 제공하고, 이후 모멘텀을 포함한 경사 하강법을 T=3번 반복한다. 복원된 표현 hm*와 최종 에너지 값은 불확실성 추정에 활용되며, 에너지와 실제 예측 오차 사이의 피어슨 상관계수 ρ>0.72를 기록한다. 이는 기존의 제로‑마스킹 방식이 과대평가하는 견고성을 보완한다는 점에서 의미가 크다.

실험에서는 CMU‑MOSI, CMU‑MOSEI, CH‑SIMS 세 데이터셋에 대해 MAE, Corr, Acc‑7/5/2, F1 등 다섯 가지 지표를 사용하였다. DCER는 모든 지표에서 기존 SOTA 모델(MulT, Self‑MM, EMT 등)을 앞섰으며, 특히 완전 데이터 상황에서 MAE 0.669(MOSI), 0.498(MOSEI)와 같은 뛰어난 회귀 성능을 보였다. 결손 비율이 0%~90%까지 변화하는 ‘U‑shaped’ 견고성 곡선도 제시했는데, 이는 병목 토큰이 결손 상황에서도 핵심 정보를 유지함을 시사한다.

Ablation 연구에서는 (1) 모달리티 내부 압축 제거, (2) 병목 토큰 수 감소, (3) 에너지 기반 복원 비활성화 등을 각각 수행했으며, 모두 성능 저하를 초래함으로 제안된 세 구성 요소가 상호 보완적임을 입증한다. 또한, 에너지 기반 복원의 반복 횟수 T를 늘릴수록 결손 비율이 높은 상황에서 성능이 점진적으로 향상되는 것을 확인했다.

한계점으로는 (i) DWT와 DCT가 고정된 변환이므로 데이터 특성에 따라 최적 대역이 달라질 수 있다는 점, (ii) 에너지 기반 복원이 계산 비용이 비교적 높아 실시간 시스템 적용에 제약이 있을 수 있다는 점을 들 수 있다. 향후 연구에서는 학습 가능한 주파수 변환(예: 스펙트럼 필터링)과 경량화된 EBM 최적화를 결합해 효율성을 높이는 방향이 기대된다.