정렬과 상관성 기반 선택으로 강화된 투표식 피치 추정

초록

본 논문은 기본 주파수(F0) 추정에 투표 기반 앙상블을 적용하면서, 각 추정기들의 시간·주파수 편향을 사전 정렬하고 오류 상관성을 고려한 선택 알고리즘을 도입한다. 이론적으로는 평균 오류 분산 감소와 Condorcet 정리를 통해 정확도 향상을 설명하고, 실험에서는 정렬과 선택을 적용한 투표 방식이 최신 단일 추정기들을 능가함을 입증한다.

상세 분석

투표 기반 앙상블은 다수결 원리를 이용해 개별 추정기의 오류를 상쇄시키는 간단하면서도 강력한 방법이다. 저자는 먼저 각 추정기의 오차를 ε_i = X_i – θ 로 정의하고, 중앙값(또는 평균값)으로 집계할 경우 오차 부호 ψ_i = sign(ε_i) 의 평균 상관계수 ρ̄가 1보다 작을 때 전체 오차 분산이 1 + (n‑1)ρ̄ / 4n 형태로 감소함을 수식적으로 증명한다. 이는 다수의 독립적인 추정기가 있을수록 평균 오차가 √n 만큼 감소한다는 직관과 일치한다. 또한, V/UV(유성/무성) 판별에 모드 투표를 적용하면, 각 추정기의 정확도가 0.5를 초과하고 오류가 독립적일 경우 Condorcet 정리에 의해 전체 정확도가 개별보다 크게 향상된다.

실제 적용 시에는 두 가지 실용적 문제를 지적한다. 첫째, 서로 다른 STFT 윈도우 설정이나 피크 탐지 방식 때문에 추정기마다 시간적·주파수적 오프셋이 존재한다. 이러한 편향을 보정하지 않으면 중앙값이 실제 피치 변화를 과도하게 평활화하거나 경계에서 큰 오류를 일으킨다. 저자는 기준 추정기를 선택하고, 각 추정기의 시계열을 RP‑A(정밀도) 기준으로 최적 오프셋 k_align 를 탐색해 정렬한 뒤, 전체 평균 편차를 중앙값으로 추정해 주파수 편향 f_align 을 보정한다.

둘째, 모든 추정기를 무조건 사용하면 계산량이 급증하고, 상관성이 높은 추정기들을 동시에 사용하면 오류가 중복돼 성능이 오히려 저하될 수 있다. 이를 해결하기 위해 오류 부호 상관계수를 최소화하는 탐욕적 선택 알고리즘을 제안한다. 초기 집합에 REAPER를 넣고, 남은 후보 중 RP‑A 점수가 가장 크게 상승하거나 평균 상관계수가 가장 낮아지는 추정기를 순차적으로 추가한다. 사전 정의된 크기에 도달하거나 추가가 성능을 향상시키지 않을 때 종료한다.

실험에서는 48 kHz로 리샘플링된 다양한 음성·노래·악기 데이터셋을 사용하고, RAPT, SWIPE’, pYIN, DIO, Harvest, Praat, CREPE, FCNF0++ 등 9개의 최신 추정기를 베이스라인으로 삼았다. 정렬을 적용한 전체 투표는 청정 환경에서 평균 피치 오차와 RP‑A(5 cents) 모두에서 최고 성능을 기록했으며, V/UV 리콜에서도 단일 추정기들을 앞섰다. 특히, 정렬 없이 투표만 적용했을 때는 일부 프레임에서 큰 오프셋이 남아 성능이 저하되었지만, 시간·주파수 정렬을 통해 이러한 문제를 크게 완화했다. 노이즈 환경(10–30 dB SNR)에서는 DNN 기반 CREPE와 FCNF0++가 상대적으로 강인했지만, 투표 방식도 20 dB 이하에서 여전히 경쟁력 있는 V/UV 리콜을 유지했다. 선택 알고리즘을 통해 3~5개의 추정기만 사용해도 전체 투표와 거의 동일한 정확도를 달성했으며, 이는 오류 상관성을 기반으로 한 선택이 실제로 효과적임을 증명한다.

결론적으로, 투표 기반 F0 추정은 이론적 근거와 실용적 개선을 통해 단일 최첨단 추정기들을 능가할 수 있음을 보여준다. 향후 연구에서는 저노이즈 상황에서의 피치 궤적 정확도 향상, 더 다양한 추정기와 실시간 적용을 위한 경량화, 그리고 실제 현장(인‑더‑와일드) 데이터에 대한 견고성 검증이 필요하다.