감정 인식용 중심 손실과 재구성을 활용한 차별적 특징 학습

초록

본 논문은 스펙트로그램·MFCC와 같은 음성 특징을 입력으로 하는 2D CNN에 소프트맥스 손실과 중심 손실을 동시에 적용하고, 입력 재구성을 보조 과제로 추가한 멀티태스크 학습 프레임워크를 제안한다. 중심 손실은 클래스 내 특징을 압축하고, 재구성 손실은 과적합을 방지한다. IEMOCAP 데이터셋에서 4가지 감정(중립, 행복, 슬픔, 분노)을 대상으로 5‑fold 교차 검증을 수행했으며, 제안 모델은 기존 최첨단 대비 전체 정확도 3.1%, 클래스 평균 정확도 5.3% 향상을 달성하고 파라미터 수는 62% 감소하였다.

상세 분석

이 논문은 감정 인식(SER) 분야에서 두 가지 핵심 아이디어를 결합한다. 첫째, 중심 손실(center loss)을 소프트맥스 손실과 함께 사용해 클래스 간 분리를 유지하면서 클래스 내부 변동성을 최소화한다. 중심 손실은 각 클래스의 특징 중심을 학습하고, 매 배치마다 현재 특징과 해당 중심 사이의 L2 거리를 최소화한다. 이를 통해 고차원 특징 공간에서 동일 감정 샘플이 더 촘촘히 모여, 판별 경계가 명확해진다. 기존 연구에서 대비 손실(contrastive loss)이나 트리플렛 손실을 사용하면 데이터 쌍·삼중을 구성해야 하는 오버헤드가 발생하지만, 중심 손실은 추가 연산이 거의 없으며 λ₁=4라는 하이퍼파라미터만으로 충분히 효과를 발휘한다.

둘째, 자동 인코더 구조를 차용한 재구성(auxiliary) 과제를 도입해 멀티태스크 학습을 구현한다. 네트워크의 상위 완전 연결층을 디코더로 연결하고, 입력 스펙트로그램·MFCC를 그대로 복원하도록 MSE 손실을 부여한다. 이 보조 과제는 모델이 입력의 저수준 패턴을 보존하도록 강제함으로써, 단일 감정 분류 과제에만 집중했을 때 발생할 수 있는 과적합을 완화한다. 특히 IEMOCAP 데이터는 클래스 불균형과 제한된 샘플 수가 특징이므로, 여러 과제를 동시에 학습함으로써 노이즈를 평균화하고 일반화 능력을 향상시킨다.

아키텍처 측면에서 저자는 4개의 병렬 2D CNN 경로를 설계했으며, 각각 200개의 필터와 서로 다른 커널 크기(4×6, 6×8, 8×10, 10×12)를 사용한다. 이는 다양한 시간·주파수 스케일의 특징을 동시에 포착하도록 설계된 것이다. 각 경로의 출력은 max‑pooling을 거쳐 200×4 차원으로 축소되고, 이후 플래튼 후 연결된다. 두 개의 독립적인 FC 레이어가 존재하는데, 하나는 소프트맥스·중심 손실에, 다른 하나는 재구성 디코더에 연결된다. 활성화 함수는 ReLU이며, 최종 디코더 출력에는 sigmoid와 MSE가 적용된다. 최적화는 Adadelta를 사용하고, 드롭아웃 비율은 25%~75% 사이에서 실험적으로 선택하였다.

실험 결과는 표 1에 정리되어 있다. 스펙트로그램 기반 모델에 소프트맥스만 적용했을 때 전체 정확도 71.2%, 클래스 평균 61.9%였으며, 여기에 중심 손실을 추가하면 각각 73.6%와 66.5%로 상승한다. 재구성 손실을 동시에 적용한 S+A+C 모델은 전체 74.3%, 클래스 평균 67.2%를 기록해 기존 최첨단(Yenigalla et al., 2018) 대비 3.1%·5.3% 개선을 보인다. 파라미터 수는 0.26M로, Satt et al.(2017)의 0.69M 대비 62% 감소해 메모리 효율성도 확보한다. t‑SNE 시각화에서는 중심 손실을 적용한 모델이 클래스별 클러스터를 더 촘촘히 형성하고, 소프트맥스만 사용한 경우보다 명확한 구분을 보여준다.

이 논문의 주요 기여는 (1) 중심 손실을 SER에 효과적으로 적용해 intra‑class compactness를 달성한 점, (2) 자동 인코더 기반 재구성 과제를 도입해 멀티태스크 정규화를 구현한 점, (3) 병렬 CNN 구조와 경량 파라미터 설계로 실용성을 높인 점이다. 다만, 실험이 IEMOCAP 단일 데이터셋에 국한되었으며, 실시간 시스템 적용을 위한 연산량 분석이 부족한 점은 향후 연구 과제로 남는다.