양쪽 청각 보청기를 위한 모델 기반 음성 향상

본 논문은 청각 장애인이 복잡한 청취 환경, 특히 여러 화자가 동시에 말하는 ‘칵테일 파티’ 상황에서 겪는 말 intelligibility 저하 문제를 해결하고자 한다. 기존 보청기 기술은 주로 각 귀에 독립적으로 적용되는 단일 채널 필터링이나 다채널 Wiener 필터에 의존했으며, 이러한 방법은 잡음 억제는 가능하지만 binaural cue를 왜곡하거나 유성 구간의 주기성을 충분히 활용하지 못한다는 한계가 있었다. 이를 극복하기 위해 저자들은 두 개의 마이크(좌·우) 간 무선 링크를 전제로 한 양이음성(바이노럴) 음성 강화 프레임워크를 설계하였다. 프레임워크의 핵심은 Kalman 필터 기반의 Fixed‑Lag Kalman Smoother(FLKS)이다. Kalman 필터는 음성 생산 모델을 상태공간 형태로 표현함으로써, 음성의 AR 계수와 잡음의 AR 계수를 동시에 추정하고, 유성 구간에서는 피치(p)와 보이스링스(b) 파라미터를 추가로 모델링한다. 여기서 STP(short‑term predictor) 파라미터는 음성·잡음 각각의 AR 계수와 해당 excitation variance를 의미한다. 파라미터 추정 단계에서는 두 가지 혁신적인 방법이 도입된다. 첫째, 양쪽 채널의 스펙트럼 정보를 결합한 코드북 기반 STP 추정기가 사용된다. 사전에 학습된 스피치·노이즈 코드북을 통해 각 프레임의 스펙트럼을 가장 잘 설명하는 코드워드를 선택하고, 이를 바탕으로 AR 계수와 variance를 추정한다. 둘째, 조화 모델과 최대우도 원리를 적용한 방향성 피치 추정기가 도입되어, 각 프레임의 피치와 보이스링스 값을 정확히 추정한다. 이 두 추정기는 서로 독립적으로 수행되지만, 양쪽 마이크의 정보를 동시에 활용함으로써 비정상 잡음이나 급격한 스펙트럼 변동에도 강인한 파라미터를 제공한다. 추정된 파라미터는 좌·우 양쪽 보청기에 동일하게 적용된다. 이는 FLKS가 동일한 상태전이 행렬과 관측 행렬을 사용하도록 함으로써, 양쪽 채널 간 시간·레벨 차이와 같은 binaural cue를 보존한다. 실험에서는 다양한 SNR(−5 dB~10 dB)과 방해음(다중 화자, 비정상 잡음) 조건에서 PESQ와 STOI를 측정했으며, 기존 단일 채널 Kalman 기반 방법 대비 평균 0.2 dB 이상의 PESQ 향상과 0.07 이상의 STOI 향상을 기록했다. 또한, 9명의 정상 청취자를 대상으로 한 주관적 청취 테스트에서, 단일 채널 입력만 사용했음에도 불구하고 intelligibility가 최대 15 % 상승했으며, 전반적인 음질 만족도도 크게 향상된 것으로 나타났다. 논문은 또한 제안 방법을 기존 양이음성 프레임워크와 비교했을 때, 파라미터 독립 추정 방식보다 약 3 dB 정도의 SNR 개선 효과가 있음을 보고한다. 마지막으로, 코드북 기반 STP 추정과 방향성 피치 추정이 각각 독립적으로도 성능 향상에 기여하지만, 두 방법을 결합했을 때 가장 큰 시너지 효과가 나타난다는 결론을 제시한다. 이와 같이 물리적 음성 생산 모델을 기반으로 한 Kalman 필터와 양쪽 채널 정보를 공동으로 활용하는 접근은, 저전력 실시간 보청기 구현에 필요한 계산 복잡도와 성능 사이의 균형을 맞추는 데 중요한 통찰을 제공한다. 향후 연구에서는 실시간 구현을 위한 하드웨어 최적화와, 실제 청각 장애인 대상의 장기 청취 실험을 통해 청취 피로도 감소 효과를 검증할 필요가 있다.