가중 스테레오 샘플을 이용한 상태조건 관측분포 모델링

초록

본 논문은 팩터리얼 음성 처리 모델에서 상태조건 관측분포를 가중 스테레오 샘플로 추정하는 방법을 제안한다. 기존 단일패스 이상 모델 보상 방식을 다중 음원(청음성 및 비정상 잡음)으로 확장하고, 각 음원에 독립적인 특징 공간을 선택할 수 있게 하여 저신호대잡음비 환경에서 최대 4% 절대 정확도 향상을 달성하였다. Aurora‑2 데이터셋 A세트를 이용한 실험 결과가 이를 뒷받침한다.

상세 요약

팩터리얼 히든 마코프 모델(FHMM)은 여러 독립적인 음원(예: 말소리와 잡음)의 상태를 동시에 추정함으로써 복합적인 음성 신호를 효과적으로 모델링한다. 이때 핵심이 되는 것이 상태조건 관측분포(state‑conditional observation distribution, SCOD)이며, 정확한 SCOD 추정이 인식 성능을 좌우한다. 기존 연구에서는 단일 음원에 대해 ‘ideal model compensation(IMC)’이라는 단일 패스 재학습 방식을 사용했으나, 다중 음원, 특히 비정상(non‑stationary) 잡음에 대해서는 적용이 어려웠다. 본 논문은 이러한 한계를 극복하기 위해 ‘가중 스테레오 샘플(weighted stereo samples)’이라는 개념을 도입한다. 스테레오 샘플이란 동일한 발화에 대해 깨끗한 음성과 잡음이 섞인 손상된 음성을 동시에 수집한 데이터를 의미한다. 여기서 각 샘플에 상태별 가중치를 부여함으로써, 특정 음원 상태에 대한 관측분포를 정밀하게 추정할 수 있다.

가중치는 두 가지 요소를 고려한다. 첫째, 각 음원(청음성, 잡음)의 상태 전이 확률에 기반한 사전 확률이며, 둘째, 실제 관측값과 모델 예측값 사이의 차이를 반영한 후처리 가중치이다. 이러한 가중치를 적용하면, 잡음이 비정상적으로 변동하는 경우에도 해당 잡음 상태에 맞는 SCOD를 별도로 학습할 수 있다. 특히, 잡음 상태를 별도의 HMM으로 모델링함으로써 ‘다중 상태 잡음 모델’을 구현하고, 각 잡음 상태마다 최적의 특징 공간을 선택할 수 있다. 이는 기존 방법이 깨끗한 음성 특징 공간에 종속되었던 점을 크게 개선한다.

실험에서는 Aurora‑2 데이터셋의 A세트를 사용해 0 dB~20 dB 범위의 SNR에서 성능을 평가하였다. 가중 스테레오 샘플 기반 FHMM은 저신호대잡음비(≤ 5 dB) 구간에서 최대 4 % 절대 정확도 향상을 보였으며, 전반적인 평균 인식률도 기존 IMC 대비 유의미하게 개선되었다. 통계적 유의성 검증을 통해 개선 효과가 우연이 아님을 확인하였다.

한계점으로는 스테레오 데이터 수집 비용이 높고, 가중치 계산에 추가적인 연산 비용이 발생한다는 점이다. 또한, 잡음 상태가 급격히 변하는 실시간 환경에서는 가중치 업데이트가 지연될 가능성이 있다. 향후 연구에서는 가중치 추정을 온라인으로 수행하는 알고리즘 개발과, 스테레오 샘플 없이도 유사한 효과를 얻을 수 있는 합성 데이터 생성 방법을 탐색할 필요가 있다.