음악 오디오에서 timbre와 pitch를 분리하는 딥러닝 모델 연구

본 논문은 음악 오디오에서 가장 기본적인 두 청각 속성인 timbre(음색)와 pitch(음높이)를 서로 독립적인 잠재 공간으로 분리(disentangle)하는 방법을 제안한다. 기존 연구들은 주로 도메인 지식에 기반한 신호 처리 기법을 이용해 timbre‑invariant 혹은 pitch‑invariant 특성을 추출했지만, 이러한 특성들이 실제로 얼마나 잘 분리되었는지를 정량적으로 평가하기 어려웠다. 저자들은 이미지 분야에서 성공한 disentanglement 기법을 음악에 적용하면서, 음악 특유의 시간적 연속성과 주파수‑시간 구조를 고려한 두 가지 딥러닝 모델을 설계하였다. ### 1. 데이터와 전처리 - 입력: 16 kHz 샘플링 레이트의 오디오 파형을 Constant‑Q Transform(CQT)으로 변환, 88개의 주파수 빈(피아노 건반 수)과 312개의 시간 프레임으로 구성된 스펙트로그램 X_cqt ∈ ℝ^{88×312}. - 출력(목표): 프레임‑레벨로 정렬된 멀티‑트랙 pianoroll X_roll ∈ {0,1}^{88×312×M}, 여기서 M은 악기 종류 수. pianoroll은 instrument roll X_t ∈ {0,1}^{M×312}와 pitch roll X_p ∈ {0,1}^{88×312}로 각각 마진화 가능. - 데이터셋: MuseScore에서 추출한 35만 개의 오디오‑MIDI 쌍을 구축, 오디오와 MIDI가 정확히 시간 정렬되어 있어 프레임‑레벨 라벨링이 가능. ### 2. 모델 설계 #### 2.1 DuoAE (Dual AutoEncoder) - 구조: 두 개의 독립 인코더 E_t (timbre)와 E_p (pitch) → 각각 Z_t, Z_p (잠재 행렬, 크기 κ×τ, τ는 시간 차원). - 디코더: D_roll (Z_t, Z_p 결합) → pianoroll 재구성, D_t (Z_t) → instrument roll, D_p (Z_p) → pitch roll. - 손실: 교차 엔트로피 기반 L_roll, L_t, L_p. - Adversarial component: 잘못된 조합(Z_p → D_t, Z_t → D_p)으로부터 전부 0을 출력하도록 강제하는 L_nt, L_np를 인코더에만 역전파, 이를 통해 Z_t에 pitch 정보, Z_p에 timbre 정보가 섞이지 않게 함. #### 2.2 UnetAE (U‑Net 기반 AutoEncoder) - 구조: 단일 인코더 E_cqt → 하나의 잠재 표현 Z_t. - Skip connections: Encoder와 Decoder 사이에 동일 레이어 차원의 피처를 직접 연결, pitch 정보를 이 경로를 통해 전달하도록 설계. - Decoder D_roll: Z_t와 skip 연결을 이용해 pianoroll을 복원. - Timbre classifier D_t: Z_t에서 timbre 정보를 추출하도록 학습 (L_t). - Adversarial: 사전 학습된 pitch 디코더 D_p (DuoAE에서 얻음)를 고정하고, Z_t가 pitch 정보를 포함하지 않도록 L_np를 최소화 (인코더만 업데이트). - 장점: pitch 정보가 skip 연결에 의해 직접 전달되므로 Z_t는 순수히 timbre 텍스처만을 담게 된다. ### 3. 추가 서브 네트워크 (pianoroll‑to‑audio) - Binary neuron 기반 디코더를 사용해 pianoroll을 다시 오디오 파형으로 변환, 이는 모델이 학습한 잠재 표현을 실제 사운드 합성에 활용할 수 있게 함. ### 4. 평가 프로토콜 – timbre crossover - 두 곡 A, B에 대해 각각 timbre 코드 Z_t^A, Z_t^B와 pitch 코드 Z_p^A, Z_p^B를 추출. - 교차: Z_t^A + Z_p^B → 새로운 pianoroll → 오디오 변환. - 목표: 원본 B의 pitch 구조가 유지되면서 A의 timbre가 적용되는지 확인. - 측정 지표: pitch‑preservation F‑score, timbre‑transfer 정확도, 그리고 주관적 청취 테스트. ### 5. 실험 결과 - 두 모델 모두 timbre와 pitch를 어느 정도 분리했지만, UnetAE가 특히 다중 악기(다중 트랙) 상황에서 pitch 변형을 최소화하고 timbre 교체 성공률이 높았다. - DuoAE는 전체적인 재구성 정확도는 좋았지만, adversarial loss가 완벽히 pitch 정보를 제거하지 못해 교차 실험에서 약간의 pitch 왜곡이 관찰됨. - pianoroll‑to‑audio 디코더는 binary neuron을 사용함으로써 높은 음질(신호‑대‑노이즈 비율)과 정확한 악기 별 음색 재현을 달성했다. ### 6. 기여 및 향후 연구 1. **Temporal supervision**: 프레임‑레벨 악기·음높이 라벨을 이용해 직접적인 시간적 제어를 제공, 이는 기존 이미지‑레벨 라벨링과 차별화됨. 2. **Skip‑connection 기반 pitch 전달**: pitch를 고해상도 정보를 유지하면서 timbre는 깊은 레이어에서 추출하도록 설계, 음악 신호의 주파수‑시간 특성을 효과적으로 반영. 3. **대규모 정렬 데이터셋 공개**: 35만 쌍의 오디오‑MIDI 데이터와 코드 공개를 통해 재현성 및 후속 연구 촉진. 4. **timbre crossover 평가**: 실제 음악 편집 시나리오에 맞춘 정량적 평가 방법 제시, 향후 음악 생성·편집 시스템에 바로 적용 가능. 향후 연구 방향으로는 (a) 더 풍부한 음악 속성(다이내믹스, 아티큘레이션 등)까지 확장, (b) 비지도 혹은 약한 라벨링 기반의 disentanglement, (c) 실시간 인터랙티브 편집 인터페이스와의 통합, (d) 다른 음악 장르·문화권에 대한 일반화 검증 등이 제시된다.