최적 스펙트럼 전송 기반 음악 전사

본 논문은 음악 전사 시스템에서 스펙트럼을 비음수 행렬 분해 형태로 모델링할 때, 기존에 널리 사용되는 KL 발산 기반 적합도 측정이 주파수별로 독립적인 비교를 수행함으로써 작은 주파수 이동이나 악기의 음색 변동에 과도하게 민감하다는 문제점을 지적한다. 이러한 한계를 극복하기 위해 최적 수송(Optimal Transportation, OT) 이론을 도입하고, 새로운 비용 행렬 C_h 를 설계한다. C_h는 두 주파수 사이의 이동 비용을 정의하는데, 특정 주파수 f_i 에서 그 배수(또는 역수)인 f_j 로 이동할 경우 비용을 거의 0에 가깝게 설정하고, 옥타브 차이를 구분하기 위해 작은 ε 항을 추가한다. 이 설계는 조화음과 기본 주파수 사이의 에너지 이동을 자유롭게 허용하면서도, 옥타브 간의 구분은 유지한다는 점에서 음악 신호의 고유한 조화성을 효과적으로 반영한다. 비용 행렬이 정의되면, 스펙트럼 v와 템플릿 ˆv 사이의 OT 발산 D_C(v|ˆv) 를 최소화하는 최적화 문제가 형성된다. 기존 OT 기반 NMF는 비용 행렬과 복잡한 템플릿 사전 W를 동시에 최적화해야 하므로 계산량이 매우 크다(수십만 차원의 선형 계획). 그러나 저자들은 사전을 극단적으로 단순화한다. 각 음을 대표하는 템플릿을 해당 음의 기본 주파수에만 1을 갖는 디랙(δ) 벡터로 구성한다. 이렇게 하면 ˆv = Wh는 K개의 비제로 원소만을 가지며, 이 원소들은 사전에 정의된 기본 주파수 집합 S에 해당한다. 결과적으로 OT 제약식에서 비제로 열이 S에만 존재하게 되고, 문제 차원이 M·K에서 (M+1)·K 로 크게 축소된다. 더 나아가, 이 축소된 문제는 닫힌 형태 해를 갖는다. 각 입력 스펙트럼의 주파수 i에 대해, 비용 행렬 C_h의 i번째 행에서 최소 비용을 주는 기본 주파수 인덱스 k_i 를 찾고, 해당 인덱스에 질량 v_i 를 할당하면 된다. 즉, T의 행별 최적 할당은 ˜t_{ik_i}=v_i, 나머지는 0이며, 활성화 행렬 H는 T의 열 합으로 간단히 구한다. 이 과정은 O(M) 연산만 필요하므로, 기존 PLCA가 요구하는 O(K·M) 연산에 비해 현저히 빠르다. 실험에서는 피아노와 합성 악기 데이터를 사용해 제안된 OST와 기존 PLCA, Wasserstein‑NMF 등을 비교한다. 평가 지표는 프레임‑레벨 정확도와 음표 추출 F‑score이며, OST는 사전 설계 비용이 거의 없고, 인하모닉성 및 옥타브 변이에 강인한 특성을 보이며, 전반적인 정확도에서도 경쟁력 있거나 우수한 결과를 얻는다. 또한, 실시간 처리 수준의 속도를 달성해 대규모 음악 데이터베이스 검색이나 실시간 전사 시스템에 바로 적용 가능함을 입증한다. 논문의 주요 기여는 다음과 같다. 첫째, 음악 스펙트럼의 조화성을 비용 행렬에 내재화한 새로운 OT 기반 적합도 정의. 둘째, 디랙 벡터 사전으로 사전 설계 문제를 근본적으로 제거하고, 템플릿 선택에 대한 의존성을 없앰. 셋째, 선형 시간 복잡도의 닫힌 형태 해법을 제시함으로써 기존 비음수 행렬 분해 기법 대비 계산 효율성을 크게 향상시킴. 마지막으로, OT 이론을 음향 신호 처리에 적용한 사례로서, 음성 인식, 환경 소리 분석 등 다른 분야에도 확장 가능성을 제시한다.