다층 학습으로 구현한 폴리포닉 피치 트래킹 시스템

초록

본 논문은 스펙트로그램에 계층형 인공신경망을 순차적으로 적용해 프레임 단위와 노트 단위의 피치 정보를 동시에 추출하는 시스템을 제안한다. 첫 번째 네트워크가 학습한 희소 수용 영역을 전역 필터 커널로 재사용하고, 이를 기반으로 f0 활성화를 시간축에 연결해 피치 컨투어를 형성한다. 이후 컨투어 내부에서 온셋·오프셋 검출 네트워크가 작동하며, 최종적으로 반복적인 노트 정제 과정을 통해 정확한 노트 후보를 선택한다. MAPS, Bach10, TRIOS, MIREX Woodwind quintet 네 개 데이터셋에서 f0, 온셋, 오프셋 모두 최신 수준의 성능을 달성하였다.

상세 분석

이 연구는 폴리포닉 피치 트래킹을 위해 ‘딥 레이어드 러닝(Deep Layered Learning)’이라는 새로운 파이프라인을 설계했다. 첫 단계에서는 2‑D 컨볼루션 네트워크가 입력 스펙트로그램에 대해 희소한 수용 영역(sparse receptive field)을 학습한다. 이 수용 영역은 전통적인 멜 필터와 달리 데이터‑드리븐 방식으로 파라미터를 최소화하면서도 고주파와 저주파 영역을 동시에 포착한다. 학습된 커널은 이후 모든 하위 네트워크에 동일하게 적용되어 파라미터 공유(parameter sharing)를 구현함으로써 모델 복잡도를 크게 낮추고, 학습 안정성을 향상시킨다.

첫 번째 네트워크의 출력은 프레임별 f0 활성화 맵이며, 이는 시간축을 따라 연결(convolution)되어 ‘피치 컨투어(pitch contour)’를 형성한다. 컨투어는 연속적인 주파수 변동(예: 비브라토, 글리산도)을 자연스럽게 포함하므로, 이후 단계에서 온셋·오프셋을 판단할 때 작은 피치 변동을 별도 처리할 필요가 없다. 컨투어 기반 프레임워크는 또한 노트 경계가 겹치는 복잡한 다성음악에서도 각 음을 독립적으로 추적할 수 있게 한다.

두 번째 레이어에서는 컨투어 내부에 국한된 온셋·오프셋 검출 네트워크가 동작한다. 이 네트워크는 첫 레이어의 잠재 표현(latent representation)과 추가적인 시간‑주파수 특징을 입력으로 받아, 온셋과 오프셋을 동시에 예측한다. 특히 온셋 검출에 있어서는 급격한 에너지 상승뿐 아니라 피치 궤적의 급격한 변화도 감지하도록 설계되어, 악기별 특성(예: 현악기의 피치 슬라이드)에도 강인한 성능을 보인다.

마지막 단계는 ‘노트 정제(Note Refinement)’ 단계로, 초기 후보 노트들을 하나씩 검증한다. 여기서는 전체 곡맥락을 고려한 순환 신경망(RNN) 기반 분류기가 사용되며, 잘못된 후보는 반복적인 제거 과정을 통해 배제된다. 이 iterative 절차는 false positive를 크게 감소시키며, 특히 긴 지속음이나 중첩된 화음에서 발생하는 오류를 효과적으로 억제한다.

실험 결과는 네 개의 공개 데이터셋(MAPS, Bach10, TRIOS, MIREX Woodwind quintet)에서 f0 정확도, 온셋 정확도, 오프셋 정확도 모두 기존 최고 성능을 능가함을 보여준다. 특히 비브라토가 강하게 적용된 악기와 다성음이 복잡한 합주곡에서도 높은 재현율과 정밀도를 유지한다. 이 시스템은 기존의 단일 단계 CNN이나 RNN 기반 모델과 달리, 각 단계가 서로 다른 목표를 최적화하도록 설계된 점이 핵심 차별점이며, 파라미터 공유와 컨투어 기반 프레임워크가 복합적인 음악 신호를 효율적으로 처리한다는 점에서 의미가 크다.