효율적인 오디오 소스 분리를 위한 비음수 팩터리얼 히든 마코프 모델 변분 추론

초록

본 논문은 비음수 팩터리얼 히든 마코프 모델(N‑FHM​M)의 베이지안 변형을 제안하고, 이를 위한 변분 추론 알고리즘을 설계한다. 제안 방법은 소스 수에 대해 선형적인 계산 복잡도를 가지면서도 기존 정확한 추론과 동등한 분리 성능을 보이며, 실험에서는 평균 30배 이상의 속도 향상을 기록한다.

상세 분석

비음수 행렬분해(NMF)는 스펙트럼 구조를 효과적으로 포착하지만, 시간적 비정상성이나 동적 변화를 반영하지 못한다는 한계가 있다. 이를 보완하기 위해 도입된 비음수 팩터리얼 히든 마코프 모델(N‑FHM​M)은 각 소스마다 독립적인 마코프 체인을 두어 시간적 전이 확률을 모델링한다. 그러나 팩터리얼 구조 때문에 전체 상태 공간이 소스 수의 곱으로 급격히 늘어나, 정확한 베이즈 추론은 소스가 2~3개일 때조차 계산량이 지수적으로 증가한다.

논문은 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 각 소스의 스펙트럼 사전분포를 디리클레(Dirichlet) 형태의 베이지안 파라미터화로 바꾸어, 관측 데이터와 숨겨진 상태 사이의 결합을 확률적 그래프 형태로 재구성한다. 둘째, 변분 베이즈(Variational Bayes) 프레임워크를 적용해 복잡한 공동 사후분포를 독립적인 요인들로 근사한다. 구체적으로, 각 소스의 마코프 체인에 대한 변분 분포를 마코프 연쇄 구조를 유지하도록 설계하고, 스펙트럼 기여도에 대한 변분 파라미터는 기대값을 이용해 업데이트한다.

이러한 설계는 기대값 계산 단계에서 소스별로 독립적인 행렬 연산만 수행하면 되므로, 전체 복잡도가 O(S·K·T) 형태로 선형화된다. 여기서 S는 소스 수, K는 각 소스의 상태 수, T는 프레임 수이다. 기존의 정확한 추론이 O(K^S·T)인 것과 비교하면, 소스가 늘어날수록 계산량 차이가 급격히 벌어진다.

실험에서는 두 개 이상의 악기(피아노, 바이올린, 드럼 등)를 포함한 믹스 데이터를 사용해, 제안 알고리즘과 기존 N‑FHM​M의 정확한 추론을 비교하였다. 신호 대 잡음비(SNR)와 SDR(Signal‑to‑Distortion Ratio) 지표에서 차이는 미미했으며, 평균 실행 시간은 0.8초(제안) 대비 24초(정확한)로 약 30배 가속을 달성했다. 또한, 변분 파라미터 초기화와 학습률 조절에 따른 수렴 특성을 분석해, 적절한 하이퍼파라미터 설정 시 5~10번의 EM‑유사 반복만에 수렴함을 확인했다.

이 논문은 팩터리얼 HMM 구조를 베이지안 변분 추론으로 효율화함으로써, 실시간 혹은 대규모 멀티소스 오디오 분리 응용에 실용적인 길을 열었다는 점에서 의의가 크다. 다만, 변분 근사의 품질이 모델링 오류와 결합될 경우 극단적인 소스 겹침 상황에서 성능 저하가 발생할 가능성이 있으며, 이는 향후 비선형 변분 방법이나 딥러닝 기반 사전과 결합해 보완할 여지가 있다.