오염 음성 학습으로 강인한 DNN HMM 원거리 음성 인식

본 논문은 원거리 음성 인식(DSR) 시스템이 직면한 리버버레이션과 배경 잡음으로 인한 성능 저하 문제를 해결하고자, ‘오염 음성(contaminated speech)’이라는 기존의 다조건 훈련 방식을 현대 DNN‑HMM 구조에 맞게 재구성한다. 오염 음성은 클로즈‑톡(근접 마이크) 녹음에 실내 임펄스 응답(IR)을 컨볼루션하고, 필요에 따라 환경 잡음을 추가해 만든다. 연구진은 이 과정을 통해 시뮬레이션 데이터와 실제 DIRHA 실내 환경 데이터를 모두 생성하였다. 제안된 세 가지 핵심 기법은 다음과 같다. 1) **비대칭 컨텍스트 윈도우(ACW)**: 전통적인 대칭 윈도우(과거·미래 각각 8프레임) 대신, 과거 프레임을 더 많이 포함하고 미래 프레임을 적게 포함하는 비대칭 구성을 사용한다. 리버버레이션은 과거 신호에 장기적인 영향을 미치므로, 과거 정보를 강조하면 더 풍부한 음향 단서를 활용할 수 있다. 실험에서는 과거 10프레임·미래 6프레임 구성이 가장 좋은 결과를 보였으며, 이는 다양한 윈도우 길이에서도 일관되었다. 2) **클로즈‑톡 기반 라벨링**: DNN 학습 시 사용되는 타이즈드‑스테이트 라벨은 일반적으로 잡음·리버버레이션이 섞인 원거리 신호에 대해 GMM‑HMM을 이용해 강제 정렬한다. 그러나 이러한 정렬은 오류가 발생하기 쉽다. 연구팀은 클로즈‑톡 데이터에서 얻은 고품질 라벨을 그대로 원거리 데이터에 상속함으로써, DNN가 더 정확한 지도 정보를 받게 하였다. 이 방법은 특히 노이즈와 리버버레이션이 심한 환경에서 PER을 1.5 %~2 % 정도 개선하였다. 3) **클로즈‑톡 기반 사전학습**: 기존 DNN‑HMM에서는 비지도 RBM 기반 사전학습을 사용한다. 저자는 이를 감독 사전학습으로 대체하여, 클로즈‑톡 데이터와 그 라벨을 이용해 초기 가중치를 학습한다. 이렇게 하면 초기 파라미터가 더 의미 있게 설정되어, 최종 미세조정 단계에서 학습 속도가 빨라지고 과적합 위험이 감소한다. 실험 결과, 사전학습 방식을 바꾸면 학습 에폭이 약 30 % 감소하면서도 최종 PER이 1 % 이상 향상되었다. 시스템 구성은 6개의 은닉층(각 1500개의 시그모이드 유닛)과 소프트맥스 출력층을 갖는 DNN이며, 입력 특징은 13개의 MFCC에 피치와 발성 확률(PoV)을 추가한 45차원 벡터이다. 특징은 25 ms 프레임, 10 ms 오버랩으로 추출하고, 컨텍스트 윈도우 적용 후 평균·분산 정규화를 수행한다. 학습은 Kaldi 툴킷을 이용해 교차 엔트로피 손실을 최소화하는 SGD 방식으로 진행되며, 학습률은 프레임 정확도 증가율에 따라 동적으로 조정한다. 실험은 세 가지 시나리오(클로즈‑톡, 리버버레이션만, 리버버레이션+노이즈)와 두 데이터셋(AP‑ASCI 6 h, Euronews 100 h)에서 수행되었다. 기준 시스템(대칭 17프레임 윈도우, 전통 라벨링·RBM 사전학습) 대비, 제안된 ACW, 클로즈‑톡 라벨링, 감독 사전학습을 모두 적용했을 때 평균 15 % 이상의 PER 감소를 기록했다. 특히, 작은 고품질 데이터(AP‑ASCI)만 사용했음에도 대규모 데이터와 동등한 성능을 달성했으며, 실제 DIRHA 실내 테스트에서도 시뮬레이션 결과와 일관된 개선 효과가 나타났다. 결론적으로, 오염 음성 훈련에 비대칭 컨텍스트, 고품질 라벨 상속, 감독 사전학습이라는 세 가지 최적화를 결합함으로써, DNN‑HMM 기반 원거리 음성 인식 시스템의 견고성을 크게 향상시킬 수 있음을 입증하였다. 이러한 접근은 실시간 시스템에도 적용 가능하며, 향후 다양한 실내·실외 환경에 대한 일반화 연구에 기반이 될 수 있다.