발음장애인 음성인식을 위한 화자 독립형 조음 및 병목 특징 비교

초록

본 연구는 화자 정보를 사전에 알 필요 없이 병목(Bottleneck) 특징과 조음(Articulatory) 특징을 이용한 두 가지 화자 독립형 ASR 모델을 구축하고, 이를 파킨슨병·뇌졸중·외상성 뇌손상 등으로 인한 발음장애(디소트리) 음성 데이터에 적용해 성능을 비교한다. 멜 필터뱅크와 가마톤 필터뱅크를 포함한 다양한 음향 전처리와, 연속형 조음 변수와 합성·실제 음성 기반의 변환 모델을 결합한 결과, 두 데이터셋 모두에서 병목 특징 기반 모델이 조음 특징 기반 모델보다 약간 우수했으며, 모델 적응 기법을 단계별로 적용했을 때 인식 정확도가 현저히 향상됨을 확인하였다.

상세 분석

이 논문은 발음장애인 음성 인식(ASR) 분야에서 화자 독립성을 확보하기 위한 두 가지 주요 특성 추출 방법, 즉 병목(Bottleneck) 특징과 연속형 조음(Articulatory) 특징을 심층적으로 탐구한다. 먼저, 기존 연구에서 주로 사용되던 멜 필터뱅크(Mel‑filterbank)와 달리 가마톤(Gammatone) 필터뱅크를 도입해 스펙트럼의 미세 변화를 더 정밀하게 포착한다는 점이 특징이다. 가마톤 필터는 청각학적 근거를 갖춘 주파수 해상도를 제공하므로, 발음장애인 음성에서 흔히 나타나는 비정상적인 스펙트럼 변이를 보다 효과적으로 모델링할 수 있다.

조음 특징 측면에서는 기존에 주로 이산형(Discrete) 조음 변수에 의존하던 접근법을 탈피해, 연속형 조음 변수(예: 성대관 협착 변수, 입술·혀 움직임 등)를 사용한다. 이러한 연속형 변수는 음성 생성 과정의 물리적·생리적 특성을 직접 반영하므로, 스펙트럼 왜곡을 일으키는 근육 제어 결함을 보다 정확히 보정한다. 논문에서는 두 종류의 음성 변환 모델(합성 음성 기반과 실제 발음장애인 음성 기반)을 학습시켜 조음 특징을 추정하고, 이를 가마톤 혹은 멜 필터뱅크와 결합한 형태로 입력 피처를 구성한다.

음향 모델은 시간‑주파수 컨볼루션 신경망(TFCNN)과 전통적인 CNN‑HMM, DNN‑HMM 구조를 모두 실험한다. 특히, 병목 레이어를 포함한 TFCNN은 비선형 차원 축소와 동시에 시간‑주파수 맥락을 보존하도록 설계돼, 데이터가 희소한 발음장애인 음성에서 과적합을 방지하고 일반화 성능을 높인다. 모델 적응(adaptation) 단계에서는 다단계 DNN 훈련을 적용해, 비정상 음성에 특화된 파라미터를 점진적으로 미세조정한다. 이 과정에서 병목 특징 추출기와 음향 모델을 공동 학습(joint learning)함으로써, 두 모듈 간의 상호 보완 효과를 극대화한다.

실험은 네덜란드어(EST)와 플라망어(COP‑AS) 두 개의 발음장애인 데이터셋을 사용한다. EST는 4시간 47분 규모의 훈련 데이터와 55분 규모의 테스트 데이터를 포함하고, 다양한 병증(Parkinson, CVA, TBI 등)과 중증도를 포괄한다. COP‑AS는 플라망어 발음장애인 데이터를 테스트 전용으로 활용한다. 결과는 병목 특징 기반 모델이 조음 특징 기반 모델보다 평균 1.22.5% 절대 정확도(Word Error Rate 감소)에서 우수함을 보여준다. 특히, 모델 적응을 적용했을 때 두 모델 모두 57% 수준의 추가 개선을 달성했으며, 가마톤 필터와 병목 특징을 결합한 최종 시스템이 가장 높은 인식 정확도를 기록한다.

이 연구의 핵심 인사이트는 다음과 같다. 첫째, 가마톤 필터는 발음장애인 음성의 비정상 스펙트럼을 더 잘 포착해, 기존 멜 필터 대비 인식 성능을 향상시킨다. 둘째, 연속형 조음 변수는 물리적 발음 메커니즘을 직접 모델링함으로써, 병목 특징과 상호 보완적인 정보를 제공한다. 셋째, 병목 레이어를 포함한 TFCNN 구조는 데이터가 제한적인 상황에서도 강인한 특성 표현을 학습할 수 있다. 넷째, 다단계 모델 적응은 화자 독립성을 유지하면서도 개별 발음장애인의 변이를 효과적으로 보정한다. 이러한 요소들을 종합하면, 화자 정보를 사전에 알 수 없는 임상 환경에서도 실용적인 ASR 시스템을 구현할 수 있는 설계 원칙을 제시한다.