자동화된 코드 라벨 개인화: 통합 하모닉 인터벌 딥러닝 접근법

초록

본 논문은 여러 주관적 어노테이션을 통합한 하모닉 인터벌 기반 표현을 딥러닝으로 학습하여, 단일 모델로 개별 어노테이터의 코드 라벨 어휘에 맞춘 개인화된 코드 추정을 가능하게 한다. 다중 레퍼런스 학습이 단일 레퍼런스 학습보다 정확도가 현저히 높음을 실험적으로 입증한다.

상세 분석

이 연구는 자동 코드 추정(ACE) 분야에서 가장 큰 난제 중 하나인 ‘주관성’ 문제를 해결하기 위해 새로운 중간 표현인 Shared Harmonic Interval Profile(Ship)을 제안한다. Ship은 루트음, 3도(메이저·마이너·없음), 7도(메이저·마이너·없음)를 각각 13·3·3 차원의 원-핫 벡터로 결합한 19차원 벡터이며, 모든 어노테이터의 코드 라벨을 이 벡터 공간에 투사한다. 이렇게 하면 라벨이 희소하거나 어휘가 서로 다르더라도 동일한 음악적 구조를 공유하는 형태로 통합할 수 있다.

음향 입력은 Constant‑Q Transform(CQT)으로 변환하고, 15프레임(양쪽 7프레임) 윈도우를 DNN의 입력으로 사용한다. 네트워크는 1024‑512‑256 유닛의 풀링 없는 피라미드 구조이며, 출력은 19개의 Ship 차원을 softmax 형태로 예측한다. 학습은 다중 어노테이터가 제공한 Ship 라벨을 교차 엔트로피 손실로 최소화하고, Adam 옵티마이저와 early‑stopping을 적용한다.

예측된 Ship에 대해 각 어노테이터의 라벨 어휘와 매칭되는 원-핫 위치(루트·3도·7도)를 추출하고, 해당 위치값을 곱해 ‘Combined Probability(CP)’를 계산한다. CP를 어노테이터 별 어휘 전체에 정규화하면 확률 분포가 얻어지고, 가장 확률이 높은 라벨을 최종 코드로 선택한다. 이 과정은 라벨 어휘가 다르더라도 동일한 Ship을 기반으로 개인화된 라벨을 생성한다는 점에서 혁신적이다.

실험은 Ni et al. (2013) 데이터셋(20곡, 5명 어노테이터, 각기 다른 라벨 어휘)에서 수행되었다. 다중 어노테이터 Ship을 이용해 학습한 dnn_ship 모델은 평균 0.72의 정확도를 기록했으며, 단일 Iso(standard) 레퍼런스로 학습한 dnn_iso는 평균 0.55에 그쳤다. 특히 7도 레벨에서 차이가 크게 나타났는데, 이는 어노테이터 간의 화성 인식 차이가 크게 반영된 결과이다. 또한 dnn_iso가 Iso 레퍼런스를 재현하는 능력은 높았지만, 개인화 측면에서는 한계가 있음을 확인했다.

이 논문의 핵심 기여는 (1) 코드 라벨을 직접 분류하는 대신 하모닉 인터벌 프로파일이라는 중간 표현을 도입해 주관성을 자연스럽게 모델링한 점, (2) 다중 어노테이터 데이터를 통합 학습함으로써 개인화된 코드 추정이 가능하도록 한 점이다. 또한 Ship 기반 접근법은 라벨 어휘가 확장되거나 새로운 어노테이터가 추가될 때 재학습 없이도 확장 가능하다는 실용적 장점을 제공한다.