MUSE2020 챌린지 멀티모달 감정 분석 보고서

초록

본 논문은 MUSE2020 Muse‑Wild 서브 챌린지를 위한 멀티모달 감정 분석 솔루션을 제시한다. 텍스트(BERT, ALBERT, GloVe), 오디오(GeMAPS LLD, wav2vec), 비주얼(DenseFace, VGGFace) 특징을 250 ms 프레임 단위로 정렬·연결하고, Fully‑Connected + ReLU → LSTM → Fully‑Connected 구조로 회귀한다. 검증 셋에서 아루전(CCC 0.4670)과 발렌스(CCC 0.3571) 모두 베이스라인을 크게 상회한다.

상세 분석

본 연구는 멀티모달 감정 인식 분야에서 실용적인 베이스라인을 제시한다는 점에서 의미가 크다. 첫째, 텍스트 특징으로 BERT, ALBERT, GloVe를 활용했으며, 사전학습 모델을 그대로 사용해 250 ms 프레임에 맞게 평균 풀링하는 간단하지만 효과적인 정렬 방식을 적용했다. 이는 텍스트와 다른 모달리티 간 시간 동기화를 위한 최소한의 전처리로, 복잡한 어텐션 메커니즘 없이도 충분한 정보를 전달한다는 점을 보여준다.

둘째, 오디오 특징으로는 전통적인 저수준 파라미터 집합인 GeMAPS(Low‑Level Descriptors, LLD)와 최신 자기지도 학습 모델인 wav2vec를 동시에 사용하였다. wav2vec를 Librispeech 데이터로 사전학습한 뒤 적용함으로써, 제한된 라벨 데이터에서도 강건한 음성 표현을 얻을 수 있었다. LLD와 wav2vec를 결합한 결과가 단일 오디오 모델보다 월등히 높은 CCC를 기록한 점은, 전통적인 신호 기반 특징과 딥러닝 기반 특징이 상보적임을 입증한다.

셋째, 비주얼 특징은 얼굴 표정 인식에 특화된 DenseFace와 VGGFace를 사용하였다. 두 모델 모두 FER+와 VGGFace 데이터셋으로 사전학습 및 파인튜닝했으며, 마지막 평균 풀링 레이어의 출력을 특징으로 채택했다. 특히 DenseFace는 감정 표현에 민감한 고차원 특징을 제공해, 다른 모달리티와 결합했을 때 성능 향상에 크게 기여한다.

모델 아키텍처는 입력 특징을 시간 축에 따라 concat한 뒤, FC + ReLU로 차원 축소 및 비선형 변환을 수행하고, 단일 레이어 LSTM으로 시계열 정보를 인코딩한다. 최종 출력은 두 개의 Fully‑Connected 레이어를 거쳐 연속값(아루전·발렌스)으로 회귀한다. 손실 함수는 MSE이며, Adam 옵티마이저와 0.5 드롭아웃, 최대 타임스텝 100을 사용한다. 이와 같은 비교적 단순한 구조에도 불구하고, 멀티모달 결합 전략이 효과적임을 실험을 통해 증명한다.

실험 결과는 크게 두 부분으로 나뉜다. Uni‑modal 실험에서는 LLD가 아루전에서 가장 높은 CCC(0.3841)를, BERT가 발렌스에서 최고(0.3131)를 기록했다. 이는 텍스트가 감정의 긍정·부정 정도를 잘 포착하고, 오디오가 감정의 강도(아루전)를 더 잘 반영한다는 기존 연구와 일치한다. Multi‑modal 실험에서는 LLD‑wav2vec‑DenseFace‑AU‑BERT 조합이 아루전 CCC 0.4670, 발렌스 CCC 0.3571을 달성하며, 베이스라인(아루전 0.3078, 발렌스 0.1506)보다 크게 앞선다.

하지만 몇 가지 한계점도 존재한다. 첫째, LSTM 레이어가 단일 층으로 제한돼 있어 장기 의존성을 충분히 모델링하지 못할 가능성이 있다. 둘째, 모달리티 간 상호작용을 명시적으로 학습하는 어텐션 메커니즘이나 교차‑모달 트랜스포머가 부재해, 더 복잡한 감정 표현을 포착하는 데 한계가 있을 수 있다. 셋째, 검증 셋 외에 테스트 셋에 대한 결과가 제시되지 않아 실제 대회 성능을 완전히 평가하기 어렵다. 넷째, 하이퍼파라미터 탐색 과정이 상세히 기술되지 않아 재현 가능성이 낮다. 마지막으로, 논문 전반에 걸친 서식 오류와 오탈자(예: “1506” 등)로 인해 가독성이 떨어진다.

종합적으로, 본 연구는 멀티모달 특징을 간단히 결합하고 LSTM 기반 시계열 모델로 회귀하는 접근법이 실용적인 성능을 낼 수 있음을 보여준다. 향후 연구에서는 교차‑모달 어텐션, 다중 레이어 LSTM/Transformer, 그리고 보다 정교한 데이터 증강 및 하이퍼파라미터 최적화를 통해 성능을 더욱 끌어올릴 여지가 충분히 있다.