감정 인식을 위한 지속 엔트로피와 SVM 기반 접근

초록

본 논문은 음성 신호를 조각별 선형 함수로 간주하고, 하위‑스타 필터레이션을 이용해 지속 엔트로피를 계산한다. 얻어진 단일 실수값을 특징으로 사용해 다양한 커널 SVM을 학습시켜 8가지 기본 감정을 구분한다. 실험 결과는 단일 엔트로피값만으로는 제한적인 정확도를 보였으나, 배우별·감정별 평균값을 벡터화했을 때 92% 이상의 정확도를 달성하였다.

상세 분석

이 연구는 기존의 음성 기반 감정 인식이 주로 피치, 에너지, 스펙트럼 등 다차원의 음향 특징을 추출하는 데 비해, 위상 데이터 분석(TDA)의 한 분야인 지속 엔트로피(persistent entropy)를 활용한다는 점에서 독창적이다. 먼저 원시 음성 파형을 일정 간격으로 균등 샘플링하여 10 000점 정도로 축소한다. 이는 지속 호몰로지 계산의 복잡도를 낮추면서도 파형의 전반적 형태를 보존한다는 가정에 기반한다. 이후 동일한 높이를 갖는 샘플이 존재하지 않도록 미세한 잡음을 추가해 하위‑스타 필터레이션(lower‑star filtration)의 전제 조건을 만족시킨다. 하위‑스타 필터레이션은 각 샘플값을 정렬한 뒤, 해당 값 이하의 모든 정점과 그에 포함된 단순체들을 점진적으로 포함시키는 방식으로 복합체를 구성한다. 이 과정에서 0‑차원(연결 성분)과 1‑차원(루프) 호몰로지 클래스의 탄생·소멸 시점을 기록한 지속 바코드가 생성된다.

바코드에서 각 구간의 길이 (l_i = y_i - x_i) 를 전체 길이 (L = \sum_i l_i) 로 정규화하여 확률 (p_i = l_i/L) 를 정의하고, 엔트로피 (E = -\sum_i p_i \log p_i) 를 계산한다. 지속 엔트로피는 바코드 전체의 복잡성을 한 숫자로 요약하므로, 서로 다른 파형 간의 비교가 가능하다. 특히, Theorem 1에 의해 입력 파형이 (\ell_\infty) 노름으로 충분히 가깝다면 엔트로피 차이는 임의의 작은 (\varepsilon) 이하가 되므로 잡음에 강인한 특성을 가진다.

이러한 엔트로피 값을 특징 벡터로 사용해 서포트 벡터 머신(SVM)을 학습한다. 논문에서는 선형, 다항식, 가우시안(RBF) 등 세 종류의 커널을 시험했으며, 최종적으로 가우시안 커널이 가장 높은 정확도를 보였다. 실험은 크게 세 단계로 나뉜다. ① 각 음성 파일마다 단일 엔트로피 값을 사용해 학습·테스트를 진행했을 때 정확도는 20 % 수준에 머물렀다. 이는 감정 구분이 단일 스칼라로는 과도하게 차원 축소된 결과임을 시사한다. ② 동일 감정을 24명의 배우가 표현한 24개의 엔트로피 값을 하나의 24‑차원 벡터로 결합해 학습했을 때, 92 % 이상의 정확도를 달성했다. 이는 개인별 발화 특성이 일정 부분 보정되면서 감정 구분에 유의미한 정보를 제공함을 의미한다. ③ 배우와 감정을 동시에 고려한 그룹화 실험에서도 높은 성능이 확인되었으며, 남·여 성별에 따른 엔트로피 상관관계가 다르게 나타나는 점을 발견했다. 남성·여성 간 상관계수는 낮은 반면, 동일 성별 내에서는 중간 정도의 양의 상관이 관찰돼, 성별 별 모델링이 추가적인 성능 향상을 기대할 수 있음을 암시한다.

전체적으로 이 연구는 위상 기반 요약 통계량을 음성 감정 인식에 적용함으로써, 기존의 고차원 피처 추출과는 다른 관점을 제공한다. 그러나 현재는 엔트로피 하나만으로는 감정 구분이 충분히 강건하지 않으며, 다수의 발화자 평균값을 이용한 다차원 특징이 필요함을 보여준다. 향후 시각 정보와 결합하거나, 지속 바코드 자체를 직접 학습에 활용하는 방법(예: 바코드 매트릭스 혹은 심층 학습 기반 임베딩) 등이 제안될 수 있다.