멀티모달 대형언어모델 감성지능 평가 벤치마크 MME‑Emotion

초록

MME‑Emotion은 6 000개 이상의 영상과 8가지 감성 과제, 27개의 시나리오를 포함한 가장 규모가 큰 멀티모달 LLM 감성지능 벤치마크이다. 영상‑텍스트‑오디오를 모두 활용해 감정 인식·세부 감정·다중 라벨·감성 분석·의도 인식을 평가하고, 인식 정확도, 추론 품질, 체인‑오브‑생각(Chain‑of‑Thought) 점수라는 세 가지 통합 메트릭을 제시한다. 자동 평가를 위해 다중 에이전트 시스템과 LLM‑as‑judge 방식을 도입했으며, 20개의 최신 공개·폐쇄형 모델을 실험한 결과 최고 모델조차 인식 39.3 %·CoT 56.0 %에 불과해 감성지능 향상이 시급함을 보여준다.

상세 분석

MME‑Emotion은 기존 감성 벤치마크가 갖는 ‘시나리오 부족’과 ‘평가 프로토콜 불일치’ 문제를 근본적으로 해결한다. 첫째, 데이터 수집 단계에서 공개 영상 데이터셋(예: IEMOCAP, MOSABench 등)을 통합하고, 감정 변이가 있는 긴 영상을 일정 시간 구간으로 분할해 라벨이 일관된 짧은 클립을 만든다. 이렇게 만든 6 500개 QA 쌍은 각 클립당 평균 3.3 초 이상이며, 최소 500개 이상의 질문이 각 과제에 배치돼 통계적 균형을 확보한다. 둘째, 8가지 과제는 감정 인식(실험실·실제 환경·노이즈·세부·다중 라벨), 감성 분석(일반·세부), 그리고 의도 인식으로 구성돼, 모델이 단순 라벨 예측을 넘어 상황적·시간적 맥락을 이해하고 추론할 수 있는지를 평가한다. 셋째, 평가 메트릭은 ‘Recognition Score(Rec‑S)’, ‘Reasoning Score(Rea‑S)’, ‘Chain‑of‑Thought Score(CoT‑S)’로 정의된다. Rec‑S는 정답 라벨과 일치하는 비율, Rea‑S는 모델이 제시한 추론 단계(step)와 인간 전문가가 선정한 기준 단계 간의 유사성을, CoT‑S는 전체 답변 흐름이 논리적으로 일관되는지를 측정한다.

자동 평가는 다중 에이전트 프레임워크를 활용한다. 모델 응답을 받은 뒤, 별도 ‘Step‑LLM’(GPT‑4.1 기반)에게 답변을 단계별로 분리하도록 프롬프트를 제공한다. 이후 ‘Judge‑MLLM’(GPT‑4o)에게 시각 단서(프레임 추출), 청각 단서(전용 오디오‑LLM인 Qwen2‑Audio)와 정답 라벨, 그리고 단계별 텍스트를 입력해 세 메트릭을 산출한다. 인간 전문가 5명을 대상으로 샘플링 검증을 수행했으며, GPT‑judge와 인간 점수 간의 상관계수가 0.87 이상으로 자동 평가의 신뢰성을 입증했다.

실험 결과, 20개 모델 중 Gemini‑2.5‑Pro가 Rec‑S 39.3 %·CoT‑S 56.0 %로 최고 성적을 기록했지만, 전체 평균이 Rec‑S 29.4 %·Rea‑S 49.5 %·CoT‑S 39.5 %에 머물러 감성지능이 아직 미성숙함을 보여준다. 일반형 모델(Gemini‑2.5‑Pro, GPT‑4o)은 대규모 멀티모달 사전학습 덕분에 전반적인 성능이 높았으며, 전문형 모델(R1‑Omni, Audio‑Reasoner, AffectGPT)은 도메인‑특화 파인튜닝이나 RL‑VR 같은 후처리 기법을 통해 특정 과제에서 일반형을 추월했다. 또한, 답변 단계 수가 많을수록 성능이 상승하는 경향이 관찰돼, 복합적인 감정 추론을 위한 ‘단계적 사고’가 모델 설계에 필수적임을 시사한다.

한계점으로는(1) 영상 길이가 짧아 장시간 감정 변화를 포착하기 어려움, (2) 현재 평가가 라벨 기반이므로 감정의 다중성·혼합성을 완전히 반영하지 못함, (3) 다중 모달리티 동시 처리 능력이 제한된 LLM에 대한 ‘분할‑통합’ 전략이 최적이 아닐 수 있다는 점을 들 수 있다. 향후 연구는 더 긴 연속 영상, 복합 감정 라벨링, 그리고 멀티모달 통합 인코더를 갖춘 LLM을 대상으로 평가 프레임워크를 확장하는 방향이 기대된다.