음악 자동 태깅을 위한 딥 백오브피처 모델

본 논문은 음악 자동 태깅을 위한 새로운 두 단계 학습 프레임워크를 제안한다. 서론에서는 디지털 음악의 급증과 메타데이터의 한계, 그리고 오디오 자체를 이용한 내용 기반 검색·추천의 필요성을 강조한다. 기존 연구들을 살펴보면, 손수 설계된 MFCC·스펙트럼 콘트라스트 등 전통적인 특징과, K‑means, 희소 코딩, 제한 볼츠만 머신(RBM) 등을 이용한 비지도 특징 학습, 그리고 CNN·DNN 기반의 지도 학습 접근법이 존재한다. 그러나 단일 레이어 비지도 학습은 지역 패턴에만 국한되고, 다층 CNN은 대규모 데이터와 많은 파라미터를 요구한다는 문제점이 있다. 이에 저자들은 “딥 백오브피처” 모델을 설계하였다. 첫 번째 단계는 로컬 스펙트럼 패턴을 고차원 희소 공간에 매핑하고, 이를 백오브피처 형태로 요약한다. 구체적인 전처리 과정은 다음과 같다. (1) 자동 이득 제어(AGC)로 다이내믹 레인지 조절, (2) 513개의 선형 주파수 bin을 128개의 멜 주파수 bin으로 변환한 멜‑스펙트로그램 생성, (3) 로그 스케일 압축(log10(1+C·x))을 적용해 동적 범위 축소, (4) 온셋 검출 함수를 별도 경로에서 계산하고, 온셋 강도가 높은 구간에서 연속된 여러 프레임을 샘플링하는 온셋 기반 샘플링을 도입한다. 이 방식은 음표 시작점에 정렬된 프레임을 제공함으로써 학습 효율을 높인다. 샘플링된 데이터는 PCA‑화이트닝을 거쳐 차원 축소와 상관 제거를 수행한다. 이후 희소 제약을 갖는 가우시안‑바이너리 RBM을 사용해 로컬 특징을 학습한다. 희소성은 활성화 평균을 목표값에 가깝게 유지하도록 정규화 항을 추가함으로써 구현된다. 학습된 RBM은 입력 프레임에 대해 전방 패스로 빠르게 은닉 활성화를 계산하고, 각 트랙에 대해 최대 풀링과 평균 풀링을 적용해 백오브피처 벡터를 만든다. 두 번째 단계에서는 백오브피처를 입력으로 층별 RBM(희소성 없이)을 연속적으로 학습한다. 각 RBM은 이전 층의 출력 분포를 모델링해 점진적인 추상화를 수행하고, 최종적으로 얻은 가중치와 편향을 초기값으로 사용해 심층 신경망(DNN)을 구성한다. DNN은 ReLU 활성화 함수를 사용하며, 마지막 출력층은 다중 라벨을 위한 시그모이드 활성화를 갖는다. 사전학습된 파라미터를 기반으로 전체 네트워크를 태그 라벨을 이용해 역전파로 미세조정한다. 실험은 공개 데이터셋인 Magnatagatune을 활용했다. 평가 지표는 AUC, 평균 정밀도·재현율, 그리고 태그별 F‑measure 등이다. 주요 실험 결과는 다음과 같다. (1) 온셋 기반 샘플링이 무작위 샘플링 대비 성능을 약 2~3% 향상시켰다. (2) 희소 RBM을 이용한 로컬 특징 학습이 K‑means·희소 코딩 대비 약 1% 정도의 이득을 보였다. (3) 두 단계 사전학습을 거친 DNN이 단순 RBM‑SVM 대비 AUC에서 0.85→0.90 수준으로 크게 개선되었다. (4) 기존 CNN 기반 모델(대규모 데이터 필요)과 비교했을 때, 제안 모델은 데이터 양이 제한된 상황에서도 경쟁력 있는 결과를 얻었다. 논문의 기여는 크게 세 가지이다. 첫째, 음악 신호의 온셋 특성을 활용한 샘플링 전략을 도입해 입력 변동성을 감소시켰다. 둘째, 희소 RBM을 통한 로컬 특징 학습과 백오브피처 집계 방식을 결합해 단순하면서도 효과적인 표현을 얻었다. 셋째, 층별 RBM 사전학습을 통해 DNN을 초기화함으로써 비지도 학습과 지도 학습을 자연스럽게 연결시켰다. 한계점으로는 온셋 검출 정확도에 의존하는 샘플링 품질, 그리고 RBM 기반 사전학습이 대규모 CNN에 비해 연산 효율이 낮을 수 있다는 점을 들 수 있다. 향후 연구에서는 온셋 검출 알고리즘을 개선하고, 컨볼루션 레이어와 결합한 하이브리드 구조를 탐색함으로써 더 일반화된 음악 태깅 시스템을 구축할 계획이다.