베이시안 NMF 기반 잡음 억제와 온라인 학습 기법

초록

본 논문은 베이시안 비음수 행렬 분해(BNMF)를 활용한 새로운 음성 강화 방법을 제안한다. BNMF‑HMM 구조를 통해 사전 잡음 모델 없이도 환경 잡음을 분류하고 MMSE 추정기를 적용하며, 온라인 학습 방식을 도입해 실시간으로 잡음 사전 사전을 업데이트한다. 실험 결과, 제안된 방법은 기존 Wiener 필터, HMM 기반 기법 및 기존 NMF 기반 기법보다 객관적 지표에서 현저히 우수함을 보인다.

상세 분석

이 논문은 단일 채널(모노) 잡음 환경에서의 음성 향상을 위해 두 가지 주요 접근법을 제시한다. 첫 번째는 베이시안 NMF(BNMF)를 기반으로 한 HMM 구조(BNMF‑HMM)이며, 두 번째는 실시간으로 잡음 사전 사전을 학습하는 온라인 BNMF이다. 기존 NMF 기반 방법은 사전 학습된 스피치와 잡음 사전 행렬을 고정하고, 관측된 스펙트로그램을 비음수 행렬 분해를 통해 두 사전의 활성화 계수를 추정한다. 그러나 이러한 방식은 잡음 종류가 사전에 정의되지 않았을 때 성능 저하가 발생한다는 한계가 있다.

BNMF‑HMM은 이 문제를 해결하기 위해, 스피치와 잡음 각각에 대한 베이시안 사전 분포를 정의하고, 이 사전들을 HMM의 상태 출력 확률로 사용한다. 상태 전이 확률은 환경 잡음 종류 간 전환을 모델링하며, 관측된 스펙트럼이 들어올 때마다 베이시안 추론을 통해 가장 가능성 높은 잡음 상태를 선택한다. 이렇게 선택된 잡음 사전과 스피치 사전을 동시에 이용해 MMSE 추정기를 적용함으로써, 잡음 종류에 대한 사전 지식이 없어도 최적의 필터링 게인을 계산한다.

두 번째 기법인 온라인 BNMF는 잡음 사전 행렬을 노이즈가 섞인 관측 신호에서 직접 추출한다. 초기에는 스피치 사전만 사용하고, 이후 각 프레임에서 추정된 잡음 활성화 계수를 기반으로 새로운 잡음 사전 원소를 업데이트한다. 이 과정은 완전 베이시안 프레임워크 안에서 사후 분포를 순차적으로 갱신하는 형태이며, 실시간 처리에 적합하도록 설계되었다. 특히, 사전 업데이트는 비음수 제약을 유지하면서도 사전의 스펙트럼 특성을 점진적으로 반영한다는 점에서 기존의 배치 방식과 차별화된다.

알고리즘 구현 측면에서 저자들은 IS(Itakura‑Saito) 발산을 비용 함수로 채택하고, 베이시안 사전은 감마 분포와 같은 공액 사전으로 설정하였다. 이는 EM 알고리즘을 통한 파라미터 추정 시 수식적으로 간단한 업데이트 규칙을 제공한다. 또한, SNR‑종속적 사전 파라미터를 도입해 다양한 잡음 레벨에 대한 적응성을 강화하였다.

실험에서는 다양한 잡음 유형(백색 잡음, 자동차 엔진 소음, 다중 화자 babble 등)과 SNR 조건(-5 dB~20 dB)에서 PESQ, STOI, SDR 등 여러 객관적 지표를 사용해 비교하였다. 결과는 BNMF‑HMM이 사전 잡음 모델이 없는 상황에서도 기존 HMM 기반 기법보다 평균 0.3 ~ 0.5 dB 높은 SDR을 기록했으며, 온라인 BNMF는 배치식 NMF와 비교해 비슷하거나 약간 높은 성능을 유지하면서도 실시간 처리 가능성을 입증했다. 특히, 비정상적인 비정상 잡음(예: babble)에서도 베이시안 사전이 잡음과 스피치의 스펙트럼 겹침을 완화시켜 전반적인 음성 품질을 크게 향상시켰다.

이 논문은 베이시안 프레임워크를 NMF에 결합함으로써 사전‑사후 불일치 문제를 완화하고, HMM과의 결합을 통해 잡음 종류를 자동 분류하는 혁신적인 구조를 제시한다. 또한, 온라인 사전 학습 메커니즘은 실제 응용(예: 휴대용 보청기, 실시간 통신)에서 사전 준비 없이도 높은 품질의 음성 향상을 가능하게 한다는 점에서 실용적 의의를 가진다.