다중언어 RNN 기반 음성인식 시스템의 언어 적응 기법

본 논문은 다중언어 자동음성인식(ASR) 시스템에서 언어 적응을 효율적으로 수행하기 위한 새로운 방법론을 제시한다. 기존의 다국어 ASR은 언어마다 별도의 음향 모델을 학습하거나, 공통된 모델에 언어 정보를 최소한으로만 제공하는 방식이 일반적이었다. 그러나 언어는 스피커와 달리 데이터가 제한적이며, 언어 간 음운적 차이와 공통점이 복합적으로 존재한다는 점에서 단순한 피처 추가만으로는 충분히 적응하기 어렵다. 저자는 먼저 Language Feature Vectors(LFVs)를 도입한다. LFV는 다국어 음성 데이터를 이용해 언어 구분 작업을 수행하도록 훈련된 작은 신경망의 bottleneck 레이어 출력이다. 이 벡터는 로그 멜 스펙트럼, 피치 등 저수준 음향 특성을 입력으로 하여, 언어별 고유한 음향·음운 패턴을 저차원으로 압축한다. 기존 연구에서는 LFV를 입력 피처에 단순히 연결(appending)하는 방식으로 언어 정보를 네트워크에 제공했으며, 이는 스피커 적응에 사용되는 i‑Vector와 유사한 접근법이다. 하지만 저자는 언어 특성이 스피커 특성보다 더 높은 수준의 추상화된 정보임을 강조한다. 따라서 LFV를 단순히 입력에 추가하는 것이 아니라, RNN의 은닉층, 특히 Bi‑LSTM 셀의 출력에 곱셈 형태로 적용하는 “modulation” 방식을 제안한다. 이 아이디어는 Meta‑PI 네트워크에서 영감을 얻었으며, 각 은닉 유닛이 언어 특성에 따라 활성화 강도를 조절하도록 강제한다. 구체적으로, LSTM 셀을 LFV 차원 수의 배수(예: 420, 840)로 구성하고, 같은 차원의 LFV 요소와 각각의 셀 그룹을 element‑wise 곱한다. 이렇게 하면 언어에 따라 특정 셀 그룹이 강조되거나 억제되어, 네트워크가 언어별 특성을 더 깊이 학습하게 된다. 실험은 독일어, 영어, 프랑스어, 터키어 네 개 언어의 TV 뉴스 데이터를 사용했다. 각 언어당 약 50시간의 음성 데이터를 전처리 후 45시간을 훈련, 5시간을 테스트에 사용하였다. 저자원 시나리오를 위해 8시간만을 추출해 별도 실험을 진행했다. 음향 단위는 phoneme과 grapheme 두 가지를 모두 사용했으며, 발음 사전은 MaryTTS 기반 자동 생성 방식을 채택했다. 입력 피처는 다국어 Bottleneck Feature(ML‑BNF)로, 로그 멜과 피치를 결합한 40차원 특징을 32 ms 윈도우, 10 ms 스트라이드로 추출하였다. RNN 구조는 TDNN/CNN 전처리 층 뒤에 4개의 Bi‑LSTM 층을 쌓고, 최종 출력은 CTC 손실을 이용해 학습했다. 최적화는 SGD와 Nesterov 모멘텀(0.9)을 사용했으며, 배치 정규화와 길이 기반 정렬을 적용해 학습 안정성을 높였다. 평가 지표는 토큰 오류율(TER)과, 영어 테스트 셋에 대해 RNN 기반 언어 모델을 활용한 워드 오류율(WER)이다. 결과는 다음과 같다. (1) LFV를 입력에 추가하는 “LFV app” 방식은 Baseline 대비 TER을 평균 10~15% 감소시켰다. (2) “LFV mod” 방식은 동일 조건에서 추가적으로 2~5% 포인트 더 낮은 TER을 기록했다. 특히 저자원(8 h) 상황에서 grapheme 기반 시스템은 Baseline 30.8% → LFV mod 20.7%로 큰 개선을 보였으며, 풀 데이터(45 h)에서도 비슷한 비율의 향상이 지속되었다. (3) LSTM 셀 수를 420에서 840으로 늘리면 절대 오류율이 감소하지만, “app”과 “mod” 간 차이는 감소하는 경향을 보였다. (4) phoneme 기반 시스템에서도 “mod”가 “app”보다 일관되게 우수했으며, grapheme 기반이 phoneme 기반보다 전반적으로 낮은 오류율을 보였다. 이는 자동 생성된 발음 사전의 품질 차이와 연관될 가능성이 있다. (5) 영어에 대한 WER 실험에서도 “mod”가 “app”보다 약 1~2% 포인트 낮은 WER을 달성했다. 결론적으로, 언어 적응을 위해 LFV를 은닉층에 직접 곱해주는 모듈레이션 기법이 기존의 입력 추가 방식보다 효과적임을 실증하였다. 이는 언어 특성이 스피커 특성보다 더 높은 차원의 정보를 포함하고 있기에, 네트워크 내부에서 직접 조절하는 것이 더 적합하다는 가설을 뒷받침한다. 또한, 저자원 상황에서도 의미 있는 성능 향상을 제공하므로, 다국어 ASR을 구축하려는 실제 응용에 큰 도움이 된다. 향후 연구에서는 LFV를 더 풍부한 언어 메타데이터(문법, 어휘 빈도 등)와 결합하거나, Transformer 기반 모델에 적용해 보는 것이 자연스러운 확장으로 제시된다.