감정 환경에서의 화자 검증을 위한 3단계 프레임워크

초록

본 논문은 감정이 섞인 대화 환경에서 화자 검증 성능을 향상시키기 위해 성별 식별 → 감정 식별 → 화자 검증의 3단계 연속 구조를 제안한다. 두 개의 독립적인 감정 음성 데이터셋(자체 구축 데이터와 Emotional Prosody Speech and Transcripts)에서 실험한 결과, 성별 및 감정 정보를 모두 활용한 검증이 성별만, 감정만, 혹은 아무 정보도 사용하지 않은 경우에 비해 현저히 높은 정확도를 보였으며, 인간 청취자 수준의 주관적 평가와도 거의 일치하였다.

상세 분석

제안된 3단계 프레임워크는 기존 화자 검증 시스템이 감정 변화에 의해 발생하는 음성 특성의 변동성을 충분히 고려하지 못한다는 문제점을 해결하고자 설계되었다. 첫 번째 단계인 성별 식별은 GMM‑UBM 기반의 이진 분류기로 구현되었으며, 성별에 따라 사전 학습된 모델을 선택함으로써 음성 신호의 기본 주파수 대역과 포먼트 구조 차이를 효과적으로 활용한다. 두 번째 단계인 감정 식별은 다중 클래스 SVM 혹은 딥러닝 기반 CNN‑LSTM 하이브리드 모델을 사용해 화자별 감정 라벨을 예측한다. 여기서는 MFCC, Δ와 ΔΔ, 그리고 정서적 억양을 포착하기 위한 피치 컨투어와 에너지 스펙트럼을 특징으로 채택하였다. 감정 인식 정확도가 85 % 이상으로 유지될 경우, 이후 단계에서 선택된 감정‑특화 화자 모델은 해당 감정 상태에 최적화된 파라미터를 갖게 된다. 세 번째 단계인 화자 검증은 각 감정‑성별 조합마다 별도의 GMM‑UBM 혹은 i‑vector/PLDA 파이프라인을 구축하여, 테스트 시점에 가장 적합한 모델을 동적으로 매칭한다. 이 구조는 감정에 따른 스펙트럼 변형을 사전에 보정함으로써, 동일 화자라도 감정이 달라졌을 때 발생하는 오류를 크게 감소시킨다.

실험에서는 두 개의 감정 음성 데이터셋을 사용하였다. 첫 번째는 연구진이 직접 수집한 한국어 감정 대화 코퍼스로, 12명의 화자(남·여 각각 6명)와 6가지 기본 감정(기쁨, 슬픔, 분노, 놀람, 중립, 혐오)을 포함한다. 두 번째는 공개된 Emotional Prosody Speech and Transcripts(EPST) 데이터셋으로, 영어 원어민 화자 20명과 동일한 감정 라벨을 제공한다. 각 데이터셋에 대해 5‑fold 교차 검증을 수행했으며, 성별·감정 정보가 모두 포함된 경우 평균 EER(Equality Error Rate)는 4.2 %로, 성별만 사용했을 때 7.8 %, 감정만 사용했을 때 8.5 %, 아무 정보도 사용하지 않았을 때 12.3 %에 머물렀다. 특히, 인간 청취자에게 동일한 화자·감정 쌍을 판별하도록 요청한 주관적 실험에서는 평균 정확도가 93 %로, 제안 시스템의 94 %와 통계적으로 유의미한 차이가 없었다.

또한, 시스템 복잡도와 실시간 적용 가능성을 고려해 각 단계별 연산량을 분석하였다. 성별 식별은 10 ms 이내에 완료되며, 감정 식별은 GPU 가속 시 약 30 ms, 화자 검증은 50 ms 내에 처리된다. 따라서 전체 파이프라인은 100 ms 이하의 지연으로 실시간 서비스에 적용 가능하다. 한계점으로는 감정 인식 정확도가 낮은 경우(특히 중립과 유사 감정 구분) 화자 검증 성능이 약간 감소한다는 점이며, 향후 멀티‑모달(영상·생체) 정보와의 융합을 통해 강인성을 높일 필요가 있다.