다중라벨 음악 감정 인식 새로운 시스템

초록

본 논문은 Emotify 데이터셋과 GEMS‑9 감정 척도를 활용해 음악 감정 인식을 다중라벨·다중클래스 문제로 정의하고, 음향·심리음향·멜로디·통계 특징을 추출·이산화·선택한 뒤 SVM, 베이지안, ANN 세 가지 분류기를 10‑fold 교차검증으로 비교한다. 합의 임계값(30 %)을 적용해 라벨 유효성을 판단하고, CFS 기반 특징 선택과 Kononenko 이산화를 통해 성능을 최적화한다. 실험 결과는 RMSE와 정확도 기준으로 각 모델의 장단점을 제시한다.

상세 분석

이 연구는 음악 감정 인식(MER) 분야에서 “다중라벨·다중클래스” 접근을 체계적으로 구현한 점이 가장 큰 특징이다. 기존 연구들은 주로 단일 라벨(예: 기쁨, 슬픔) 혹은 연속적인 정서 차원(Valence‑Arousal)으로 문제를 단순화했지만, 본 논문은 GEMS‑9이라는 9가지 감정군을 동시에 적용해 하나의 트랙에 여러 감정이 동시에 존재할 수 있음을 허용한다. 이를 위해 저자들은 Emotify 데이터셋(400곡, 4가지 장르, 8407개 어노테이션)을 활용했으며, 각 어노테이션이 최대 3개의 감정을 선택하도록 설계된 점이 실제 청취자의 다원적 감정 경험을 반영한다.

라벨 유효성 판단을 위한 “합의 임계값(consensus threshold)”을 30 %로 설정한 방법은 데이터 희소성을 완화하면서도 라벨 신뢰도를 확보한다. 이 임계값은 평균 긍정 응답이 일정 비율을 초과할 때만 라벨을 활성화하도록 하여, 소수 어노테이터에 의한 잡음 라벨을 배제한다. 수식 (1)에서 제시된 스코어 계산은 어노테이터 수에 대한 가중치를 두지 않아 단순하지만, 라벨 빈도 편향을 최소화한다는 장점이 있다.

특징 추출 단계에서는 MIRToolbox, Marsyas, PsySound 등 세 개의 프레임워크를 결합해 476개의 원시 특징을 만든다. 이 특징은 강도, 리듬, 음색, 심리음향, 멜로디, 통계적 요약 등 네 개의 카테고리로 구분된다. 특히 MFCC, 스펙트럼 롤오프, 피치 살리언스 등 음악적 정보를 풍부하게 담은 변수들을 포함해 감정과의 상관관계를 높였다.

이산화에는 Kononenko의 MDL 기반 알고리즘을 적용했는데, 이는 연속형 음향 신호를 의미 있는 구간으로 압축해 분류기의 학습 효율을 향상시킨다. 이어서 CFS(Correlation‑based Feature Selection)를 사용해 높은 클래스 상관도와 낮은 특징 간 상관도를 만족하는 서브셋을 자동으로 선택한다. 이 과정은 과적합 위험을 감소시키고, 연산 비용을 크게 절감한다.

분류기 선택에서는 선형 커널 SVM(SMO), 단순 추정기 k2를 사용한 Naïve Bayes, 그리고 1‑hidden‑layer(50 뉴런) ANN을 적용했다. 모두 Weka 환경에서 10‑fold 교차검증을 수행했으며, 각 모델에 대해 전체 특징, CFS 선택 특징, 이산화 후 특징 순으로 세 가지 실험군을 비교했다. 결과는 표에 제시된 바와 같이 RMSE와 정확도(30 % 임계값 기준)에서 차이를 보였으며, 특히 SVM이 이산화·선택된 특징 조합에서 가장 낮은 RMSE(.99)와 높은 정확도를 기록했다.

한계점으로는 라벨 임계값을 고정(30 %)했음에도 불구하고 청취자 개인차를 반영하지 못한 점, MP3 압축 손실이 특징에 미치는 영향을 정량적으로 분석하지 않은 점, 그리고 ANN의 하이퍼파라미터 튜닝이 제한적이었다는 점을 들 수 있다. 또한, 실험 결과가 RMSE와 정확도 외에 F1‑score, Hamming loss 등 다중라벨 특화 지표를 제공하지 않아 모델의 라벨 간 상호작용을 평가하기 어렵다.

전반적으로 이 논문은 다중라벨 MER를 위한 전처리 파이프라인(특징 추출‑이산화‑선택‑분류)과 합의 기반 라벨링 전략을 제시함으로써 향후 연구에 실용적인 베이스라인을 제공한다. 향후 연구에서는 개인화된 임계값 설정, 딥러닝 기반 시퀀스 모델(예: CRNN, Transformer)과의 비교, 그리고 멀티모달(영상·동작) 데이터와의 융합을 통해 감정 인식 정확도를 더욱 높일 수 있을 것이다.