비원어민 영어 음성 인식을 위한 통합 음향·발음 모델링

초록

본 논문에서는 비원어민 음성 인식을 위한 여러 적응 방법을 제시한다. 우리는 HIWIRE 외국인 억양 영어 음성 데이터베이스를 이용해 발음 모델링, MLLR 및 MAP 기반 비원어민 발음 적응, 그리고 HMM 모델 재학습을 테스트하였다. 제안하는 “음소 혼동” 방식은 각 발음 기호에 대해 혼동될 가능성이 있는 여러 발음 기호 시퀀스를 연결하는 것이다. 실험에서는 표준 발음과 외국인 발음 두 종류의 음향 모델을 조합했으며, 여기에는 원어민 모델, 비원어민 억양에 MAP·MLLR로 적응된 모델이 포함된다. 발음 모델링과 음향 적응을 동시에 적용했을 때 인식 정확도가 추가적으로 향상되었다. 최종적으로 가장 효과적인 조합은 단어 오류율을 46 %에서 71 %까지 상대적으로 감소시키는 결과를 얻었다.

상세 요약

이 연구는 비원어민 화자의 영어 발음 특성을 고려한 음성 인식 시스템 개선에 초점을 맞추었다는 점에서 의미가 크다. 기존의 음성 인식 엔진은 주로 원어민의 발음에 최적화되어 있어, 억양·발음 차이가 큰 비원어민 화자에 대해 인식률이 급격히 떨어지는 문제가 있었다. 논문에서는 이러한 문제를 해결하기 위해 세 가지 주요 접근법을 결합하였다. 첫째, “음소 혼동(phonetic confusion)” 모델링은 특정 음소가 실제 발화될 때 다른 음소들의 연속으로 대체되는 현상을 통계적으로 포착한다. 이를 위해 원어민 음소와 비원어민 화자가 실제로 사용하는 변형 음소 시퀀스를 매핑하고, 각 매핑에 확률을 부여함으로써 발음 사전의 유연성을 크게 높였다. 둘째, 적응 기법으로는 MLLR(Maximum Likelihood Linear Regression)과 MAP(Maximum A Posteriori) 두 가지를 적용하였다. MLLR은 선형 변환을 통해 전체 모델 파라미터를 빠르게 조정하는 반면, MAP은 사전 분포를 활용해 보다 세밀한 파라미터 업데이트가 가능하다. 특히 비원어민 억양에 특화된 소규모 학습 데이터를 활용했을 때 MAP이 더 큰 효과를 보인 점이 주목할 만하다. 셋째, HMM(Hidden Markov Model) 구조 자체를 재학습함으로써 음향 모델 자체를 비원어민 발음 특성에 맞게 재구성하였다. 이 과정에서 원어민 기반 모델과 비원어민 적응 모델을 병합하여 다중 모델 앙상블 형태로 활용했으며, 이는 서로 다른 모델이 갖는 강점을 보완하는 효과를 가져왔다. 실험에 사용된 HIWIRE 데이터베이스는 실제 항공 무선 통신 상황에서 수집된 다양한 억양의 영어 발화를 포함하고 있어, 연구 결과의 실용성을 높인다. 결과적으로, 발음 모델링과 음향 적응을 동시에 적용했을 때 단어 오류율이 최대 71 %까지 감소했으며, 이는 단일 기법만 적용했을 때보다 현저히 큰 개선이다. 이러한 성과는 비원어민 화자를 대상으로 하는 자동 음성 인식(ASR) 시스템, 특히 항공, 군사, 의료 등 고신뢰성이 요구되는 분야에서 실질적인 적용 가능성을 시사한다. 다만, 연구에서는 비교적 제한된 데이터셋과 특정 억양(주로 비영어권)만을 대상으로 했기 때문에, 다양한 언어·억양에 대한 일반화 검증이 필요하다. 향후 연구에서는 대규모 다국어 코퍼스를 활용한 심층 신경망 기반 모델과의 융합, 실시간 적응 메커니즘 도입, 그리고 사용자 피드백을 통한 지속적 모델 업데이트 방안을 모색할 수 있을 것이다.