색상 기반 감정 표현을 이용한 음성 감정 인식

초록

음성 감정 인식(Ser)은 기존에 범주형 또는 차원형 라벨에 의존해 왔으나, 이러한 접근법은 감정의 다양성과 해석 가능성을 충분히 포착하지 못한다. 본 연구는 색상 속성(색조, 채도, 명도)을 연속적이고 직관적인 점수로 활용해 감정을 표현한다. 크라우드소싱을 통해 감정 음성 코퍼스에 색상 속성을 라벨링하고 그 특성을 분석하였다. 또한 머신러닝·딥러닝 기반 회귀 모델을 구축해 색상 속성을 예측하고, 색상 속성 회귀와 감정 분류를 동시에 학습하는 멀티태스크 방식을 탐색하였다. 실험 결과 색상 속성과 감정 사이의 관계를 확인했으며, 색상 속성 회귀 모델을 성공적으로 개발하였다. 멀티태스크 학습은 각 과제의 성능을 모두 향상시키는 것으로 나타났다.

상세 요약

본 논문은 감정 인식 분야에서 “색상”이라는 인간이 직관적으로 이해할 수 있는 메타데이터를 도입함으로써 기존의 라벨링 한계를 뛰어넘는 새로운 패러다임을 제시한다. 먼저, 색상 속성인 hue(색조), saturation(채도), value(명도)를 연속적인 수치로 정의하고, 이를 감정과 매핑하는 작업을 크라우드소싱으로 수행하였다. 이 과정에서 라벨러들에게 감정이 전달되는 음성 클립을 듣고, 해당 감정을 가장 잘 나타낸 색을 선택하도록 함으로써, 감정‑색상 간의 주관적 연관성을 대규모 데이터로 정량화했다. 데이터 분석 결과, 예를 들어 ‘행복’은 높은 채도와 밝은 명도를, ‘슬픔’은 낮은 채도와 어두운 명도를 갖는 경향이 발견되었으며, 이는 색채 심리학 이론과 일치한다.

다음으로, 색상 속성을 직접 예측하는 회귀 모델을 구축하였다. 전통적인 머신러닝(예: SVR, Random Forest)과 최신 딥러닝 구조(LSTM, CNN‑LSTM 하이브리드)를 비교했으며, 음성의 저주파·고주파 스펙트럼, 멜‑주파수 켑스트럼 계수(MFCC), 그리고 감정‑특화 특징(피치, 에너지 등)을 입력으로 사용하였다. 실험 결과 딥러닝 기반 모델이 특히 색조 예측에서 높은 상관계수를 보였으며, 채도·명도 예측에서도 기존 방법을 능가하였다.

특히 주목할 점은 색상 속성 회귀와 감정 분류를 동시에 학습하는 멀티태스크 학습 프레임워크이다. 공유된 인코더가 음성 특징을 추출하고, 두 개의 독립된 디코더가 각각 회귀와 분류를 담당한다. 이 구조는 서로 다른 과제 간의 상호 보완 효과를 촉진시켜, 회귀 성능이 향상될 뿐 아니라 감정 분류 정확도도 상승하는 결과를 낳았다. 이는 감정 인식 모델이 “왜” 특정 감정을 예측했는지를 색상이라는 시각적 메타데이터를 통해 설명 가능하게 만든다.

한계점으로는 색상 라벨링이 문화·개인 차이에 크게 좌우될 수 있다는 점이다. 현재는 영어권 청취자를 중심으로 수집했으며, 다른 문화권에서는 색‑감정 매핑이 다를 가능성이 있다. 또한 색상 속성 자체가 감정의 모든 뉘앙스를 포착하지 못하므로, 향후 다중 모달(예: 텍스트, 얼굴 표정)과 결합한 복합 라벨링이 필요하다.

전반적으로 이 연구는 감정 인식에 해석 가능성을 부여하고, 색상이라는 직관적 매개체를 통해 인간‑컴퓨터 인터랙션에서 감정 피드백을 시각화하는 새로운 길을 열었다. 향후 실시간 감정 기반 색상 조명, 감정‑색상 기반 챗봇 인터페이스 등 다양한 응용 분야에 활용될 전망이다.