음악 신호를 위한 가우시안 프로세스 모델링과 통합 분석

이 논문은 음악 오디오 신호를 베이지안 방식으로 모델링하기 위해 가우시안 프로세스(GP)를 기반으로 한 새로운 커널 설계 방법을 제안한다. 서론에서는 음악 신호가 높은 변동성을 가지면서도 물리적·음악적 구조를 내포하고 있음을 지적하고, 기존 자동 음악 전사(Automatic Music Transcription, AMT) 시스템이 피치 검출, 비트 트래킹, 악기 인식 등을 독립적으로 수행하는 한계를 설명한다. 이러한 문제를 해결하기 위해 저자는 음악 신호의 비정상성, 동적 변화, 풍부한 스펙트럼 구조를 커널에 사전 지식으로 통합하는 통합 모델을 제시한다. 본론에서는 GP 회귀의 기본 개념을 정리하고, 평균 함수는 0으로 가정한 뒤 커널이 모델의 모든 사전 정보를 담는 핵심 요소임을 강조한다. 커널 설계 파트에서는 두 가지 주요 아이디어를 도입한다. 첫 번째는 ‘변화‑윈도우(change‑window)’ 함수로, 두 개의 시그모이드 함수를 곱해 노트의 시작과 종료 시점을 부드럽게 모델링한다. 이 윈도우는 각 서브 프로세스에 가중치를 부여해 해당 구간에서만 활성화되도록 한다. 두 번째는 기본 커널의 선택이다. 지수‑제곱(Exponential‑Quadratic, EQ) 커널은 부드러운 변화를, 지수‑코사인(Exponential‑Cosine, EC) 커널은 주기성 및 조화 성분을, 그리고 이 둘을 곱한 지수‑코사인‑제곱(ECQ) 커널은 진폭 변화를 포함한 주기적 구조를 동시에 표현한다. 휘너‑킨친 정리를 이용해 각 커널의 스펙트럼 밀도를 분석함으로써, EC와 ECQ 커널이 음악 신호에 내재된 기본 주파수와 그 배음들을 효과적으로 포착함을 보인다. 전체 음악 신호는 M개의 서브 프로세스로 표현되며, 각 서브 프로세스는 독립적인 GP와 해당 변화‑윈도우의 곱으로 구성된다. 따라서 전체 커널은 Σₘ φₘ(t) kₘ(t,t′) φₘ(t′) 형태의 선형 결합이 된다. 이 구조는 노트 수가 늘어나도 커널을 확장하기 쉬우며, 물리적·음악적 제약을 직접 반영할 수 있다. 학습 단계에서는 관측 노이즈를 가우시안으로 가정하고, 마진얼리키후드(maximum marginal likelihood)를 통해 하이퍼파라미터(예: 각 노트의 기본 주파수 ωₘ, 윈도우 위치 α,β, 스케일 파라미터 l 등)를 최적화한다. 실험에서는 두 개의 짧은 오디오 조각을 사용해 (1) 피치 추정 과제와 (2) 결손 구간 복원 과제를 수행한다. 피치 추정에서는 모든 커널 파라미터를 고정하고 ωₘ만을 데이터로부터 추정하도록 제한했으며, 결과는 기존 독립적 F0 검출 방법보다 높은 정확도를 보였다. 결손 구간 복원에서는 모델이 결손 구간을 자연스럽게 채워 넣으며, 음악적 연속성을 유지함을 확인했다. 논문의 주요 기여는 (i) 음악 신호의 물리·음악적 특성을 커널에 직접 인코딩한 점, (ii) 비정상성을 윈도우 함수로 모델링해 노트의 시작·종료를 명시적으로 표현한 점, (iii) 주기성·조화·진폭 변화를 동시에 포착하는 ECQ 커널을 제안한 점이다. 그러나 한계점도 존재한다. 변화‑윈도우의 위치를 사전에 지정해야 하므로 완전 자동화에는 추가적인 전처리 단계가 필요하고, 복합 커널 구조로 인한 계산 복잡도가 O(N³) 수준으로 확장되어 대규모 실시간 처리에 부적합할 수 있다. 또한 하이퍼파라미터 최적화가 비선형이며 지역 최적에 빠질 위험이 있어 변분 추정이나 스파스 GP와의 결합이 향후 연구 과제로 제시된다. 전체적으로 이 연구는 베이지안 음악 모델링에 새로운 패러다임을 제공하며, 향후 AMT 시스템에서 파라미터 공동 추정을 구현하기 위한 기반을 마련한다.