음성 신호를 통한 감정 인식과 개인별 최적화 연구

초록

본 논문은 인간의 음성에서 중립, 분노, 기쁨, 슬픔 네 가지 감정을 구분하기 위해 피크‑투‑피크 거리와 같은 특성값을 추출하고, 다양한 분류기를 적용한 실험을 수행하였다. 30명의 피험자를 대상으로 만든 데이터셋에서 개인별 학습이 집단 학습보다 높은 정확도를 보임을 확인하였다.

상세 요약

본 연구는 감정 인식 분야에서 음성 신호의 물리적 특성을 활용한 접근법을 제시한다는 점에서 의미가 크다. 먼저, 저자는 감정 구분에 있어 전통적인 스펙트럼 기반 특징(예: MFCC, 피치, 에너지) 대신 파형의 피크‑투‑피크 거리(peak‑to‑peak distance)를 주요 특징으로 선정하였다. 이는 음성 파형의 진폭 변동성을 직접적으로 반영하는 지표로, 감정에 따라 발성 강도와 억양이 달라지는 현상을 정량화할 수 있다. 피크‑투‑피크 거리를 그래프화한 후 수치화하는 과정은 비교적 단순하면서도 실시간 적용 가능성이 높아 실용적이다.

데이터 수집 단계에서는 30명의 피험자에게 네 가지 감정을 각각 자연스럽게 표현하도록 유도하고, 각 감정당 여러 샘플을 녹음하였다. 이후 전처리 과정에서 노이즈 제거와 정규화를 수행하고, 각 음성 구간에서 피크‑투‑피크 거리 외에도 기본적인 시간‑도메인 통계량(평균, 표준편차, 최대값, 최소값) 등을 추가 특징으로 사용하였다. 이렇게 구성된 특성 벡터는 차원 축소 없이 그대로 다양한 분류기에 입력되었다.

분류기 선택에 있어 저자는 전통적인 K‑최근접 이웃(KNN), 서포트 벡터 머신(SVM), 결정 트리, 그리고 인공 신경망(ANN)을 포함한 다섯 가지 모델을 실험하였다. 교차 검증을 통해 각 모델의 정확도와 혼동 행렬을 비교했으며, 특히 SVM과 ANN이 상대적으로 높은 성능을 보였다. 흥미로운 점은 동일한 모델이라도 전체 피험자 데이터를 통합해 학습시킨 경우와 개별 피험자 데이터를 별도로 학습시킨 경우의 정확도 차이가 크게 나타났다는 것이다. 개인별 학습에서는 평균 정확도가 85 % 이상으로, 집단 학습(약 68 %)에 비해 현저히 우수했다. 이는 음성 신호가 화자마다 고유한 발성 패턴과 억양 특성을 가지고 있어, 개인 맞춤형 모델이 감정 구분에 더 효과적임을 시사한다.

또한, 저자는 피크‑투‑피크 거리 특성이 감정 구분에 어느 정도 기여했는지를 평가하기 위해 특성 중요도 분석을 수행하였다. 결과는 피크‑투‑피크 거리가 특히 분노와 기쁨 구분에서 높은 가중치를 갖는 것으로 나타났다. 이는 강한 감정일수록 발성 강도가 급격히 변동하는 경향이 있음을 반영한다. 반면, 중립과 슬픔 구분에서는 시간‑도메인 평균 및 표준편차가 더 큰 역할을 했다.

연구의 한계점으로는 데이터셋 규모가 비교적 작고, 감정 표현이 실험실 환경에서 유도된 점을 들 수 있다. 실제 대화 상황에서는 복합 감정, 배경 소음, 억양 변동 등이 복합적으로 작용하므로, 향후 연구에서는 더 큰 규모의 자연 대화 데이터와 다중 감정 라벨링을 도입할 필요가 있다. 또한, 피크‑투‑피크 거리 외에도 주파수‑도메인 특징과 심층 학습 기반 자동 특징 추출을 결합하면 성능 향상이 기대된다.

결론적으로, 본 논문은 음성 파형의 피크‑투‑피크 거리를 감정 인식에 활용할 수 있음을 실증하고, 개인 맞춤형 모델이 집단 모델보다 우수함을 입증하였다. 이는 향후 인간‑컴퓨터 상호작용, 감정 기반 서비스, 그리고 보조 기술 등에 적용 가능한 실용적인 방향을 제시한다.