세밀한 시청각 증거를 활용한 강인한 멀티모달 감정 추론

초록

본 논문은 감정 인식을 넘어 감정의 원인과 맥락을 추론하는 멀티모달 대형 언어 모델(MLLM) 개발을 목표로 한다. 600 K 영상 클립을 모아 만든 SABER 데이터셋은 장면, 음성, 몸짓, 표정, 그리고 종합적 이유를 포함하는 6차원 라벨링 체계를 제공한다. 저자는 ‘구조화된 증거 분해(SED)’와 ‘일관성 인식 직접 선호 최적화(CA‑DPO)’라는 두 단계 학습 프레임워크를 제안해, 시각·청각 단일 모달에 의존하는 현상을 억제하고, 모달 간 모순 상황에서도 일관된 추론을 가능하게 한다. EMER, EmoBench‑M, SABER‑Test 등에서 기존 오픈소스 모델을 크게 앞서며, 폐쇄형 모델과도 경쟁 가능한 성능을 보인다.

상세 분석

본 연구는 멀티모달 감정 추론이라는 새로운 과제 설정에서 두 가지 핵심 문제를 정확히 짚어낸다. 첫째, 기존 MLLM은 미세한 표정 변화나 억양과 같은 세밀한 신호를 포착하기 위한 학습 데이터가 부족하고, 시각·청각 정보를 독립적으로 처리하는 구조적 한계 때문에 ‘단일 모달 우위’ 현상이 빈번히 발생한다. 둘째, 감정 판단 과정에서 모달 간 모순(예: 웃는 얼굴과 냉소적인 어조)이나 애매함이 존재할 때, 모델이 어느 한쪽 모달에만 의존해 잘못된 라벨을 출력하거나, 전혀 근거 없는 ‘환각’을 만들어낸다. 이를 해결하기 위해 저자는 두 단계 접근법을 설계하였다.

1. 구조화된 증거 분해(SED): 입력 비디오와 오디오를 그대로 LLM에 넣는 것이 아니라, 먼저 시각 증거(Ev)와 청각 증거(Ea)를 순차적으로 추출하도록 강제한다. 이를 위해 출력 형식을 `