다중모달 감정 인식을 위한 계층적 분리 지식 증류

초록

본 논문은 언어·시각·음성 3가지 모달리티를 각각 ‘공통(동질)’과 ‘전용(이질)’ 특징으로 분리한 뒤, 두 단계의 지식 증류(그래프 기반 거친 증류와 사전 기반 미세 증류)를 적용해 모달리티 간 불균형과 이질성을 완화한다. CMU‑MOSI·CMU‑MOSEI 등 주요 데이터셋에서 기존 최첨단 모델 대비 1~2% 수준의 정확도·F1 향상을 달성했으며, 그래프 엣지와 사전 활성화가 의미 있는 패턴을 보임을 시각화하였다.

상세 분석

DHMD(Decoupled Hierarchical Multimodal Distillation)는 기존 멀티모달 감정 인식 모델이 겪는 ‘모달리티 이질성’과 ‘기여도 편차’를 두 단계의 지식 증류로 구조적으로 해결한다. 첫 번째 단계는 Self‑Regression 기반 특징 분리이다. 각 모달리티마다 공유 인코더와 전용 인코더를 두어, 공유 인코더는 모든 모달리티에 공통적인 ‘모달리티‑불변’ 특징 (X_{com})을, 전용 인코더는 모달리티 고유의 ‘전용’ 특징 (X_{prt})을 추출한다. 이때 자기 회귀 손실을 이용해 (X_{prt})를 원본 특징으로 재구성하도록 학습함으로써, 두 특징 공간이 명확히 구분되도록 강제한다. 추가로 Margin Loss를 도입해 동일 감정 레이블 간의 거리와 서로 다른 레이블 간의 거리를 조절, 분리된 특징이 감정 구분에 유의미하게 작용하도록 만든다.

두 번째 단계는 계층적 지식 증류이다.
1️⃣ Coarse‑grained KD: 분리된 두 특징 공간 각각에 **Graph Distillation Unit (GD‑Unit)**을 삽입한다. GD‑Unit은 동적 그래프를 구성해 노드(모달리티) 간에 자동으로 증류 가중치를 학습한다. 동질 특징 (X_{com})에 적용되는 HoGD는 모달리티 간 공통적인 감정 정보를 강화하고, 이질 특징 (X_{prt})에 적용되는 HeGD는 전용 특징을 보완하기 위해 멀티모달 트랜스포머와 결합한다. 그래프는 학습 과정에서 각 샘플별로 증류 방향과 강도를 조정하므로, 언어가 강한 경우 언어→시각·음성으로, 시각이 유리한 경우 반대로 자동 전환된다. 이는 기존 연구에서 수작업으로 지정하던 증류 비율을 완전히 대체한다.

2️⃣ Fine‑grained KD: 각 특징 공간에 **공유 사전(Dictionary)**을 도입한다. 사전은 K개의 디스크리트 코드벡터로 구성되며, 모든 모달리티가 동일한 사전 위에서 코딩된다. Dictionary Matching (DM) 메커니즘은 각 모달리티의 특징을 사전 원소와 매핑하고, 동일 감정 레이블에 대해 같은 사전 원소가 활성화되도록 손실을 부과한다. 이는 ‘감정 단서의 세밀한 입자’를 정렬함으로써, 약한 모달리티가 놓칠 수 있는 미세 신호를 보강한다. 사전은 학습 중에 업데이트되며, 코드북의 사용 빈도와 활성화 패턴을 시각화하면 감정별 특징이 어떻게 공유되는지 직관적으로 확인할 수 있다.

학습 목표는 세 가지 손실의 가중합이다: (i) 재구성 손실(자기 회귀), (ii) 마진 손실, (iii) 그래프 기반 KD 손실, (iv) 사전 매칭 손실. 전체 파이프라인은 엔드‑투‑엔드로 학습되며, 최종 감정 예측은 두 단계에서 얻은 강화된 특징을 Adaptive Fusion 모듈을 통해 결합한다.

실험에서는 CMU‑MOSI, CMU‑MOSEI, MUStARD, UR‑FUNNY 네 개 데이터셋을 사용했다. DHMD는 ACC7, ACC2, F1 지표에서 각각 평균 1.3%~2.4%의 절대적 향상을 기록했으며, 특히 시각·음성 약점이 두드러지는 샘플에서 성능 회복이 눈에 띈다. Ablation Study는 (a) 특징 분리 없이 전체 모델, (b) 그래프 KD만, (c) 사전 KD만을 비교했을 때, 두 단계 모두를 적용한 경우가 가장 높은 성능을 보임을 확인했다. 또한 그래프 엣지 가중치와 사전 활성화 시각화는 ‘언어‑중심’ 샘플에서는 언어→다른 모달리티 엣지가 강하고, ‘시각‑중심’ 샘플에서는 반대 패턴이 나타나는 등, 모델이 샘플별로 동적으로 증류 전략을 선택함을 시각적으로 입증한다.

의의와 한계: DHMD는 모달리티 이질성을 구조적으로 해소하고, 자동 증류 메커니즘을 도입함으로써 기존의 복잡한 손실 설계와 하이퍼파라미터 튜닝 부담을 크게 낮춘다. 그러나 (1) 사전 크기와 그래프 토폴로지를 선택하는 과정이 아직 경험적이며, (2) 실시간 응용을 위해 그래프 연산과 사전 매칭 비용을 최적화할 필요가 있다. 향후 연구에서는 경량화된 그래프와 메모리 효율적인 사전 학습 기법을 탐색하고, 비정형 대화나 멀티스피커 상황으로 확장하는 것이 기대된다.