대규모 음악 자동 태깅을 위한 엔드투엔드 학습

본 논문은 음악 자동 태깅 작업을 위한 엔드투엔드 딥러닝 모델을 대규모 데이터 환경에서 평가한다. 연구 배경으로는 기존 음악 태깅 연구가 주로 특징 추출 + 전통 모델 파이프라인에 의존했으며, 최근 딥러닝 기반 접근법이 주목받고 있지만, 원시 파형을 직접 처리하는 엔드투엔드 모델은 대규모 라벨링 데이터가 부족해 성능 한계에 부딪히는 경우가 많았다. 이를 극복하고자 저자들은 1.2 M곡(총 139개의 인간 전문가 라벨)이라는 전례 없는 규모의 데이터셋을 구축하고, 두 가지 상반된 설계 패러다임을 비교한다. 첫 번째 설계는 ‘가정‑프리’ 파형 모델이다. 입력은 16 kHz로 다운샘플링된 15 초 길이의 원시 파형이며, 3 × 1 크기의 작은 1D‑CNN 필터를 7~9개의 층에 걸쳐 쌓아 계층적 특징을 추출한다. 각 층은 배치 정규화와 맥스 풀링을 포함해, 작은 수용 영역을 점진적으로 확장한다. 이 구조는 신호의 로컬 정합성에 대한 사전 가정을 최소화해, 충분한 데이터와 깊이가 주어지면 다양한 음향 패턴을 자유롭게 학습할 수 있다. 두 번째 설계는 도메인 지식 기반 스펙트로그램 모델이다. 원시 파형을 로그‑멜 스펙트로그램(96 mel‑bins)으로 변환한 뒤, 첫 레이어에서 수직(주파수) 및 수평(시간) 필터를 다중 형태(예: 7 × 86, 3 × 86, 1 × 86 등)로 배치한다. 상위 브랜치는 피치 불변성을 확보하기 위해 주파수 축을 따라 컨볼루션하고, 수직 풀링을 적용해 타임‑프리퀀시 특성을 요약한다. 하위 브랜치는 에너지 엔벨로프를 추출해 1D‑시간 필터(165 × 1 등)로 장기 시간 패턴을 포착한다. 두 브랜치의 출력을 병합한 뒤, 앞서 소개한 동일한 백엔드(3개의 512‑필터 CNN, residual 연결, 전역 평균·최대 풀링, 500‑유닛 전결합)로 전달한다. 실험은 세 가지 데이터셋—MagnaTagATune(≈26 k곡), Million Song Dataset(≈240 k곡), 자체 1.2 M곡 데이터셋—에서 수행되었다. 평가 지표는 AUC와 MSE이며, 각 데이터 규모별로 3회 반복 실험 평균을 보고한다. 결과는 다음과 같다. 작은 규모(MTT, MSD)에서는 스펙트로그램 모델이 AUC ≈ 91.6 %·MSE ≈ 0.15로 약간 우세했으며, 이는 도메인 지식이 제한된 데이터에서 효과적임을 보여준다. 그러나 학습 데이터가 100 k곡을 초과하고, 특히 1 M곡 이상으로 확대될 때 파형 모델이 AUC ≈ 92.5 %·MSE ≈ 0.1465로 최고 성능을 기록했다. 스펙트로그램 모델도 1.2 M곡에서 AUC ≈ 92.2 %·MSE ≈ 0.1473을 달성했지만, 파형 모델에 비해 미세하게 뒤처졌다. 또한, 파형 모델은 작은 필터와 깊은 스택 구조 덕분에 메모리 사용량이 효율적이며, 12 GB GPU 메모리 한계 내에서 15 초 입력을 처리할 수 있었다. 반면, 스펙트로그램 모델은 다중 형태 필터를 한 레이어에 집약해 연산량을 절감했지만, 긴 입력을 처리하려면 메모리 요구량이 급증한다는 트레이드오프가 있었다. 논문은 이러한 실험 결과를 바탕으로 두 가지 주요 결론을 제시한다. 첫째, 데이터가 제한된 상황에서는 도메인 지식에 기반한 스펙트로그램 설계가 강력한 베이스라인을 제공한다. 둘째, 충분히 큰 라벨링 데이터가 확보될 경우, 사전 가정을 최소화한 파형 기반 설계가 더 높은 표현력과 일반화 성능을 발휘한다. 따라서 향후 연구는 데이터 규모에 따라 설계 전략을 동적으로 선택하거나, 두 접근법을 결합한 하이브리드 모델을 탐색하는 방향으로 나아가야 한다. 또한, 변수 길이 입력에 대한 전역 풀링 전략과 residual 연결을 활용한 깊은 네트워크가 대규모 학습에서 안정적인 수렴을 돕는다는 점도 강조한다.