실용 음성 감정 인식 핵심 기술 연구

초록

**
본 논문은 실생활에서 나타나는 불안, 자신감, 피로라는 세 가지 감정 상태를 인식하기 위한 음성 데이터베이스 구축과 알고리즘 개발을 다룬다. Gaussian Mixture Model 기반의 두 단계 분류기와 Markov 네트워크를 결합한 모델을 제안하고, 잡음 억제, 미지 감정 거부, 화자 정규화, ECG와의 다중모달 융합 등 시스템 강인성을 높이는 여러 기술을 실험적으로 검증한다.

**

상세 분석

**
본 연구는 실용적인 감정 인식 시스템을 구현하기 위해 먼저 고품질의 자연스러운 감정 음성 데이터를 확보하는 데 초점을 맞추었다. 감정 유도 방법으로는 인지 과제 수행, 컴퓨터 게임, 외부 소음 자극, 수면 부족, 영화 클립 시청 등 다섯 가지 시나리오를 설계했으며, 각각의 시나리오가 불안(fidgetiness), 자신감(confidence), 피로(tiredness)라는 목표 감정을 효과적으로 유발한다는 사전 실험 결과를 제시한다. 데이터는 다수의 화자(남·녀, 연령대 다양)로부터 수집되어 화자 간 변이성을 충분히 포함한다는 점이 강점이다.

알고리즘 측면에서는 Gaussian Mixture Model(GMM)을 기본 모델로 채택했으며, 샘플 수가 제한된 상황에서 분류 성능을 향상시키기 위해 두 클래스(class) 분류기 집합(two‑class classifier set)을 도입하였다. 이는 각 감정 쌍에 대해 이진 분류기를 별도로 학습시켜 다중 클래스 문제를 일련의 이진 문제로 전환함으로써 소규모 데이터에서도 과적합을 방지한다. 연속적인 감정 음성 스트림을 처리하기 위해서는 시간적 연속성을 고려해야 하는데, 이를 위해 GMM에 Markov 네트워크를 결합한 구조를 제안한다. Markov 네트워크는 인접 프레임 간의 상태 전이를 모델링하여 순간적인 오분류를 주변 프레임의 정보로 보정한다.

시스템 강인성 강화 방안으로는 네 가지 주요 기술이 제시된다. 첫째, 인간 청각의 마스킹 특성을 이용한 잡음 감소 알고리즘을 도입해 저신호‑대‑잡음(SNR) 환경에서도 감정 특징을 보존한다. 둘째, 미지의 감정 샘플이 입력될 경우 이를 거부(rejection)하도록 설계된 임계값 기반 판정기를 구현해, 알려진 감정 클래스에 대한 오분류 위험을 최소화한다. 셋째, 화자 간 발화 특성 차이를 보정하기 위해 화자 민감형 특징 클러스터링을 수행하고, 각 클러스터별 정규화 파라미터를 적용함으로써 화자 다양성에 대한 내성을 높였다. 넷째, 심전도(ECG) 신호를 추가적인 바이오모달리티로 활용해 음성만으로는 구분이 어려운 미묘한 감정 변화를 보완한다. ECG‑음성 융합은 특징 수준에서의 결합과 의사결정 수준에서의 가중 평균 두 가지 방식을 실험했으며, 특히 피로 감정 인식에서 유의미한 정확도 향상을 확인하였다.

실험 결과는 제안된 GMM‑Markov 모델이 기존 단일 GMM 대비 평균 6.3%p의 인식률 향상을 보였으며, 잡음 환경에서 마스킹 기반 전처리를 적용했을 때 SNR이 5 dB 감소해도 성능 저하가 최소화되었다. 또한, 미지 감정 거부 메커니즘은 전체 정확도는 약간 감소했지만, 오분류율을 40% 이상 감소시키는 효과를 나타냈다. 화자 정규화는 화자 간 변이성이 큰 경우에도 평균 4.1%p의 정확도 상승을 가져왔으며, 바이오모달 시스템은 특히 피로와 자신감 구분에서 8%p 이상의 개선을 기록했다.

이러한 결과는 실용적인 감정 인식 시스템이 실제 서비스에 적용될 때 마주하게 되는 데이터 부족, 잡음, 화자 다양성, 미지 감정 등 복합적인 문제들을 효과적으로 해결할 수 있음을 시사한다. 또한, 제안된 기술들은 교차 언어 감정 인식이나 속삭임 음성 감정 인식 등 새로운 도메인으로 확장 가능하다는 잠재력을 가지고 있다. 다만, 현재 연구는 제한된 감정 종류와 실험실 수준의 유도 시나리오에 머물러 있어, 보다 풍부한 감정 라벨링과 실외 환경에서의 장기 테스트가 향후 과제로 남는다.

**