감정 인식을 위한 다중모달 기능 최대 상관
📝 원문 정보
- Title: Multimodal Functional Maximum Correlation for Emotion Recognition
- ArXiv ID: 2512.23076
- 발행일: 2025-12-28
- 저자: Deyang Zheng, Tianyi Zhang, Wenming Zheng, Shujian Yu
📝 초록 (Abstract)
감정 상태는 중추와 자율계의 이질적이며 협조적인 생리적 반응으로 나타나며, 이는 정서 컴퓨팅에서 다중모달 표현 학습의 근본적인 난제를 제시한다. 주석 데이터가 희소하고 주관적인 특성 때문에 자기지도학습(SSL)이 필요하지만, 기존 SSL 방식은 대부분 두 모달리티 간의 쌍대 정렬 목표에 의존해 세 개 이상 모달리티 간의 고차 상호 의존성을 포착하지 못한다. 이를 극복하기 위해 본 연구는 Dual Total Correlation(DTC) 목표를 기반으로 한 Multimodal Functional Maximum Correlation(MFMC) 프레임워크를 제안한다. 엄격한 sandwich bound를 도출하고 이를 기능 최대 상관 분석(FMCA) 기반 trace surrogate로 최적화함으로써, MFMC는 쌍대 대비 손실 없이 직접적으로 다중모달 공동 의존성을 학습한다. CEAP‑360VR, MAHNOB‑HCI, DEAP 등 세 개의 공개 정서 데이터셋에서 주제‑의존 및 주제‑독립 프로토콜 모두에서 최첨단 혹은 경쟁력 있는 성능을 달성했으며, 특히 EDA 신호만을 사용했을 때 CEAP‑360VR에서 주제‑의존 정확도가 78.9 %에서 86.8 %로, 주제‑독립 정확도가 27.5 %에서 33.1 %로 크게 향상되었다. 코드와 모델은 공개 저장소에서 제공된다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 감정 인식 분야에서 다중모달 생리 신호(예: EEG, EDA, 얼굴 영상 등)의 복합적인 상호작용을 효과적으로 학습하기 위한 새로운 자기지도 학습 프레임워크인 MFMC(Multimodal Functional Maximum Correlation)를 제시한다. 기존의 SSL 접근법은 주로 두 모달리티 간의 쌍대 정렬(contrastive) 손실에 의존해 왔으며, 이는 세 개 이상 모달리티가 동시에 나타내는 고차 상관관계를 충분히 모델링하지 못한다는 한계를 가지고 있다. 저자들은 이러한 문제점을 인식하고, 정보 이론에서 제안된 Dual Total Correlation(DTC)이라는 다변량 상호 의존성 측정값을 최적화 목표로 채택한다. DTC는 전체 변수 집합이 공유하는 정보량을 정량화하며, 두 변수 쌍 사이의 상호 정보량을 넘어선 고차 상호작용을 포착한다.MFMC는 먼저 DTC에 대한 엄격한 sandwich bound를 수학적으로 도출한다. 이 경계는 DTC를 직접 계산하기 어려운 현실적인 제약을 완화하면서도, 원래 목표와 동일한 최적점에 수렴하도록 보장한다. 이어서 저자들은 Functional Maximum Correlation Analysis(FMCA)를 기반으로 한 trace surrogate를 설계한다. FMCA는 각 모달리티에 대한 비선형 변환 함수를 학습해, 변환된 표현들 사이의 상관 행렬의 트레이스를 최대화함으로써 DTC의 하한을 근사한다. 이 과정은 전통적인 contrastive loss와 달리 모든 모달리티를 동시에 고려하므로, 뇌파(EEG)와 자율신경 신호(EDA) 사이의 협동적 패턴을 보다 정밀하게 포착한다.
실험 측면에서 저자들은 CEAP‑360VR, MAHNOB‑HCI, DEAP 등 세 개의 공개 데이터셋을 활용해 주제‑의존 및 주제‑독립 두 가지 평가 프로토콜을 수행하였다. 특히 CEAP‑360VR에서 EDA 단일 모달리티만을 사용했을 때, MFMC는 기존 최고 성능 대비 주제‑의존 정확도를 7.9%p, 주제‑독립 정확도를 5.6%p 향상시켰다. MAHNOB‑HCI의 가장 어려운 EEG 주제‑독립 분할에서도 최첨단 방법과 0.8%p 이내의 격차로 경쟁력을 유지했다. 이러한 결과는 MFMC가 개인 간 변이성을 견고하게 다루면서도, 다중모달 간의 고차 상호작용을 효과적으로 학습한다는 것을 입증한다.
한계점으로는 DTC 기반 최적화가 계산적으로 비용이 높아 대규모 실시간 시스템에 적용하기 위해서는 추가적인 효율화가 필요하다는 점이다. 또한, 현재 실험은 주로 정적인 라벨(예: 감정 카테고리) 기반이므로, 연속적인 감정 변화를 다루는 시계열 예측 과제에 대한 검증이 부족하다. 향후 연구에서는 경량화된 surrogate 설계와 함께, 감정의 연속적 흐름을 모델링할 수 있는 시계열 SSL 확장을 모색할 여지가 있다.