청각 인식 시스템의 고반향 환경에서 특징 및 향상 기법의 견고성 탐구

본 논문은 고반향(real reverberant) 실환경에서 DNN‑HMM 기반 자동 음성인식(ASR) 시스템의 견고성을 체계적으로 평가한다. 이를 위해 HRRE(Higher Reverberation Environment) 데이터베이스를 활용했으며, 실험 설계는 크게 네 가지 축으로 구성된다: 특징 추출 방식, 전처리(향상) 알고리즘, 훈련 데이터 조건, 그리고 테스트 환경 변수(스피커‑마이크 거리와 반향시간 RT). 첫 번째 축인 특징 추출은 멜 필터뱅크(MelFB)와 로컬 정규화 필터뱅크(LNFB) 두 가지를 비교한다. MelFB는 전통적인 멜 스케일 기반 스펙트럼 특징으로, 인간 청각의 주파수 해상도를 모방한다. 반면 LNFB는 각 주파수 채널을 독립적으로 정규화해 스펙트럼 기울기 변화에 대한 불변성을 강화한다. 특히 LNFB는 청정 훈련 데이터와 반향 테스트 데이터 사이의 매칭이 맞지 않을 때 강인함을 보인다. 두 번째 축은 전처리(향상) 알고리즘이다. 세 가지 비선형 기법을 적용했는데, (1) 비음수 행렬 분해(NMF)는 스펙트럼을 비음수 행렬로 분해해 반향에 의해 흐려진 시간‑주파수 구조를 복원한다. (2) 선행 효과 억제와 서스펜션(SSF)은 초기 도착 파형을 강조하고 지속 파형을 억제해 반향 성분을 감소시킨다. (3) 가중 예측 오차(WPE)는 장기 선형 예측을 이용해 늦은 반향을 추정하고 이를 신호에서 제거하는 블라인드 디컨볼루션 방식이다. 실험 결과, WPE가 가장 일관된 성능 향상을 제공했으며, 특히 반향 훈련 데이터와 결합될 때 평균 WER을 3%~20% 정도 낮추었다. 세 번째 축은 훈련 데이터 조건이다. 청정 훈련(Clean)은 Aurora‑4 데이터베이스의 청정 음성을 사용했으며, 반향 훈련(Reverb)은 이미지 방법을 이용해 다양한 방 크기·반향시간·스피커‑마이크 거리 조합을 시뮬레이션한 5,353개의 RIR을 적용해 만든다. Reverb 훈련은 다중 스타일 학습을 구현해 테스트 환경과의 매칭을 크게 개선한다. 청정 훈련은 테스트와의 불일치가 심해 전처리 효과가 더욱 두드러졌다. 네 번째 축은 테스트 환경 변수이다. HRRE 데이터베이스는 네 가지 반향시간(RT = 0.47 s, 0.84 s, 1.27 s, 1.77 s)과 다섯 가지 스피커‑마이크 거리(0.16 m, 0.32 m, 0.64 m, 1.28 m, 2.56 m)를 제공한다. 총 20개의 조건에 대해 330개의 테스트 발화를 사용해 WER을 측정했다. 실험 결과를 요약하면 다음과 같다. 1. 전반적으로 Reverb 훈련이 Clean 훈련보다 우수했으며, 특히 WPE + MelFB 조합이 대부분의 거리·RT에서 최저 WER을 기록했다. 2. Clean 훈련에서는 LNFB가 MelFB보다 일관적으로 낮은 WER을 보였으며, 특히 짧은 거리(0.16 m)와 중간 RT(0.84 s, 1.27 s)에서 두드러졌다. 3. 전처리 기법별 성능 차이는 명확했는데, SSF는 NMF보다 항상 우수했으며, WPE는 Reverb 훈련에서만 SSF를 능가했다. 4. 거리·RT에 따라 최적 조합이 달라졌다. 예를 들어, 2.56 m 거리·RT ≥ 1.27 s 구간에서는 SSF + LNFB + Reverb가 WPE + MelFB보다 낮은 WER을 보였다. 반면 0.32 m 이상 거리에서는 WPE + MelFB + Reverb가 가장 좋은 결과를 제공했다. 5. 시스템 간 상보성을 검증하기 위해 최적 조합들을 서로 다른 조건에 적용했을 때, 단일 최적 시스템보다 다중 시스템을 결합한 앙상블이 전반적인 오류율을 낮출 수 있음을 확인했다. 이는 실제 서비스 환경에서 다양한 방 환경에 대응하기 위해 다중 모델을 활용하는 전략의 가능성을 제시한다. 결론적으로, 고반향 실환경에서 ASR 시스템의 견고성을 확보하려면 (1) 반향을 고려한 다중 스타일 훈련, (2) 상황에 맞는 전처리 기법 선택, (3) 특징 추출 방식의 적절한 매칭이 필요하다. 특히 Reverb 훈련과 WPE 전처리를 결합한 MelFB 특징이 평균적으로 가장 낮은 오류율을 달성했으며, 청정 훈련 상황에서는 LNFB가 유리함을 확인했다. 향후 연구에서는 이러한 다양한 조합을 실시간 시스템에 적용하고, 앙상블 기법을 통해 실시간 적응형 ASR 모델을 구축하는 방향이 제안된다.