템포 불변 리듬 처리와 CNN

초록

리듬은 템포 변화에 따라 크게 달라지지만, 인간은 같은 패턴을 인식한다. 본 논문은 리듬 관련 활성화를 로그‑주파수 스펙트럼으로 변환하고, 이를 컨볼루션 신경망에 입력함으로써 템포 불변성을 자연스럽게 확보하는 방법을 제시한다. 크기와 위상 정보를 모두 활용한 여러 변형 모델을 실험하고, 다양한 MIR 과제에 적용 가능함을 보인다.

상세 분석

본 연구는 기존 MIR 시스템이 템포 변동에 민감한 점을 지적하고, 이를 근본적으로 해결하기 위한 새로운 입력 표현 방식을 제안한다. 핵심 아이디어는 리듬 관련 활성화(예: 온셋 강도, 악기 별 어택 등)를 시간축이 아닌 로그‑주파수 축으로 매핑하는 것이다. 로그 스케일은 인간 청각이 옥타브 단위로 주파수를 인식하는 방식과 유사하게, 동일한 리듬 패턴이 템포가 달라져도 동일한 주파수 위치에 배치되도록 만든다. 이렇게 변환된 스펙트럼은 2‑D 텐서 형태로 CNN에 공급되며, 컨볼루션 커널은 주파수 축을 따라 이동하면서 패턴을 탐지한다. 따라서 커널 자체가 템포에 대한 변화를 자동으로 보정한다는 점에서 “템포 불변” 특성을 갖는다.

논문은 세 가지 주요 변형을 실험한다. 첫째, magnitude‑only 입력으로, 각 주파수 밴드의 에너지 분포만을 사용한다. 이는 가장 직관적인 접근이지만 위상 정보를 무시한다는 한계가 있다. 둘째, magnitude와 phase 차이를 결합한 입력으로, 서로 다른 리듬 채널 간 위상 관계를 보존한다. 위상 차이는 비트 간의 동기화 정도를 나타내어, 복합 리듬 구조를 더 정확히 파악하게 한다. 셋째, raw phase 자체를 직접 입력으로 사용한다. 이 경우 CNN이 위상 패턴을 자체적으로 학습하도록 하여, 전통적인 스펙트럼 기반 방법이 놓치기 쉬운 미세한 타이밍 변화를 포착한다.

각 변형에 대해 템포 추정, 비트 트래킹, 다운비트 트래킹 등 대표적인 MIR 과제에 대해 실험을 수행하였다. 실험 결과, 로그‑주파수 기반 입력이 기존 시간‑도메인 샘플링 방식보다 전반적으로 높은 정확도와 강인성을 보였다. 특히 위상 정보를 포함한 모델은 복합 박자 구조가 존재하는 데이터셋에서 현저히 좋은 성능을 기록했으며, 이는 위상 차이가 리듬의 구조적 정보를 풍부하게 전달한다는 것을 시사한다. 또한, 모델 크기와 학습 시간 측면에서도 효율적이었다. CNN의 필터가 주파수 축을 공유하기 때문에 파라미터 수가 감소하고, 템포 범위 전반에 걸쳐 동일한 필터를 재사용할 수 있다.

이 논문의 주요 기여는 (1) 로그‑주파수 리듬 표현이라는 새로운 전처리 방법을 제시하고, (2) CNN과의 결합을 통해 템포 불변성을 구조적으로 구현했으며, (3) magnitude와 phase를 조합한 다양한 입력 설계가 실제 MIR 과제에서 유의미한 성능 향상을 가져온다는 실증적 증거를 제공했다는 점이다. 향후 연구에서는 이 방식을 멀티모달 입력(예: 멜스펙트로그램과 결합)이나 Transformer 기반 모델에 확장하는 방안, 그리고 실시간 시스템에 적용하기 위한 경량화 전략 등이 제시될 수 있다.