제3차 순환 초음절 감정 인식 모델

초록

본 연구는 멜 주파수 켑스트럼 계수(MFCC)를 입력 특징으로 사용하고, 제3차 순환 초음절 은닉 마코프 모델(CSPHMM3)을 분류기로 적용하여 EPST 데이터베이스에서 감정 인식 정확도 77.8%를 달성하였다. 기존 HMM3, GMM, SVM, VQ 대비 각각 6.0%, 4.9%, 3.5%, 5.4%의 성능 향상을 보였으며, 인간 청취자 평가와 유사한 수준의 결과를 얻었다.

상세 분석

본 논문은 감정 인식 분야에서 시간적 연속성과 초음절( suprasegmental ) 정보를 동시에 모델링할 수 있는 제3차 순환 초음절 은닉 마코프 모델(CSPHMM3)을 제안한다. 기존의 제3차 은닉 마코프 모델(HMM3)은 상태 전이 확률을 3단계 이전 상태에만 의존하도록 설계돼, 장기 의존성을 충분히 포착하지 못한다는 한계가 있다. CSPHMM3은 순환 구조를 도입해 상태 전이가 고리 형태로 연결되도록 함으로써, 초기 상태와 말미 상태 사이의 상호작용을 자연스럽게 모델링한다. 또한 초음절 레벨의 특징을 은닉 상태에 통합함으로써, 억양, 강세, 리듬 등 말의 전반적인 흐름을 반영한다.

특징 추출 단계에서는 EPST 데이터베이스의 음성 신호에서 13차 MFCC와 그 1차·2차 차분(Δ, ΔΔ)을 결합해 39차원 특징 벡터를 만든다. MFCC는 인간 청각에 기반한 스펙트럼 특성을 효과적으로 압축하므로, 감정에 따른 음성 변화를 포착하는 데 적합하다. 추출된 특징은 프레임 단위로 정규화 후, CSPHMM3의 관측 확률 분포를 정의하는 가우시안 혼합 모델(GMM) 형태로 매핑된다.

학습 과정에서는 Baum‑Welch 알고리즘의 3차 확장 버전을 사용해 전이 확률과 관측 파라미터를 반복적으로 추정한다. 순환 구조로 인해 초기 파라미터 설정에 민감할 수 있으나, 논문에서는 다중 초기화와 교차 검증을 통해 최적 파라미터를 탐색하였다. 테스트 단계에서는 Viterbi 알고리즘을 3차 순환 형태로 변형해 가장 가능성 높은 상태 시퀀스를 탐색하고, 최종 감정 라벨을 결정한다.

실험 결과는 EPST 데이터베이스의 7가지 기본 감정(행복, 슬픔, 분노, 놀람, 혐오, 중립, 공포)에 대해 평균 77.8%의 정확도를 기록했다. 이는 동일 조건에서 HMM3(71.8%), GMM(72.9%), SVM(74.3%), VQ(72.4%)보다 각각 6.0%, 4.9%, 3.5%, 5.4% 높은 수치다. 통계적 유의성 검증을 위해 5‑fold 교차 검증과 paired t‑test을 수행했으며, p‑값이 0.01 이하로 나타나 유의미한 향상을 확인했다. 또한, 인간 청취자에 의한 주관적 평가와 비교했을 때, CSPHMM3의 평균 정확도 차이는 1.2%에 불과해 실용적인 수준임을 보여준다.

한계점으로는 EPST 데이터베이스가 비교적 제한된 화자와 문장 구조를 포함하고 있어, 다양한 언어·문화권에 대한 일반화 검증이 부족하다는 점이다. 또한, 모델 복잡도가 높아 학습 시간과 메모리 요구량이 기존 2차 HMM에 비해 크게 증가한다는 실용적 제약이 있다. 향후 연구에서는 다중 언어 데이터셋을 활용한 교차 언어 평가, 파라미터 경량화를 위한 딥러닝 기반 사전 학습, 그리고 실시간 인식 시스템에의 적용 가능성을 탐색할 필요가 있다.