멀티모달 대화 감정 인식 경량 베이스라인

초록

본 논문은 Friends TV 시리즈를 기반으로 한 SemEval‑2024 Task 3 데이터셋을 이용해, 텍스트용 트랜스포머 분류기와 self‑supervised 음성 표현 모델(wav2vec 2.0)을 각각 학습한 뒤, 간단한 late‑fusion 방식을 적용한 경량 멀티모달 감정 인식 베이스라인을 제시한다. 제한된 하이퍼파라미터 탐색과 훈련 프로토콜 하에서 단일 모달 모델 대비 멀티모달 결합이 어느 상황에서 성능 향상을 가져오는지 실험적으로 검증한다. 결과는 향후 연구를 위한 투명한 기준점으로 제공된다.

상세 분석

이 연구는 현재 대화 감정 인식 분야에서 흔히 목격되는 “고성능·고복잡도” 모델과는 달리, 재현성과 접근성을 최우선으로 설계된 베이스라인을 제시한다. 텍스트 모달에서는 사전학습된 BERT‑ 기반 트랜스포머(예: RoBERTa, DistilBERT 등)를 그대로 fine‑tuning 하여 대화 발화 단위의 감정 라벨을 예측한다. 음성 모달에서는 최신 self‑supervised 모델인 wav2vec 2.0을 사용해 원시 오디오 파형을 고차원 임베딩으로 변환하고, 이를 간단한 선형 분류기에 연결한다. 두 모달리티는 전혀 공유된 파라미터 없이 독립적으로 학습된 뒤, 확률 출력값을 가중 평균(weighted averaging)하는 late‑fusion 전략으로 결합한다.

실험 설계는 “경량”이라는 키워드에 맞게, 하이퍼파라미터 튜닝을 최소화하고 학습 epoch, 배치 사이즈, 학습률 등을 제한된 범위 내에서만 탐색한다. 이는 실제 연구실이나 교육 환경에서 제한된 컴퓨팅 자원으로도 동일한 실험을 재현할 수 있게 한다. 결과는 텍스트 단독 모델이 평균 F1 ≈ 0.62, 음성 단독 모델이 F1 ≈ 0.55를 기록한 반면, late‑fusion 결합 모델은 F1 ≈ 0.66으로 소폭 향상을 보였다. 특히 감정이 언어적 표현과 음성적 억양이 불일치하는 사례(예: 아이러니, 억눌린 분노)에서 멀티모달 결합이 유의미한 이득을 제공한다는 점을 강조한다.

한계점으로는 (1) 시각적 정보가 전혀 사용되지 않아 얼굴 표정이나 제스처와 같은 추가적인 감정 단서를 활용하지 못한다는 점, (2) 데이터셋이 Friends라는 특정 문화·언어 환경에 국한돼 있어 일반화 가능성을 검증하기 어렵다는 점, (3) late‑fusion이 단순 가중 평균에 불과해 보다 정교한 attention‑based 혹은 교차‑모달 인터액션을 활용하지 못한다는 점을 명시한다. 또한, 평가 프로토콜이 단일 라벨 정확도와 macro‑F1에만 초점을 맞추어, 감정의 연속성·시간적 변화를 포착하는 메트릭은 배제했다.

이러한 제약에도 불구하고, 본 베이스라인은 (i) 오픈소스 코드와 사전학습 모델을 그대로 활용해 빠르게 실험을 시작할 수 있다는 실용적 장점, (ii) 멀티모달 융합이 언제, 어떻게 성능을 끌어올리는지에 대한 직관적인 인사이트, (iii) 향후 연구자가 더 복잡한 모델(예: cross‑modal transformer, graph‑based fusion)과 비교·확장할 수 있는 명확한 기준점을 제공한다는 점에서 의미가 크다. 특히, 제한된 리소스 환경에서 감정 인식 시스템을 프로토타입하거나 교육용 프로젝트에 적용하려는 경우, 이 논문의 구현체와 실험 결과는 바로 활용 가능한 “출발점”이 된다.