다국어 병목 특징을 활용한 제로리소스 언어 서브워드 모델링

본 논문은 전사 데이터가 전혀 없는 ‘제로리소스’ 언어에 대해 서브워드 모델링, 즉 단어 구분에 유용한 음성 특징을 어떻게 추출할 수 있는지를 다룬다. 기존 제로리소스 연구는 전사 없이 순수 비지도 방법에만 의존했지만, 저자들은 고자원 언어들의 대규모 전사 데이터를 활용해 다국어 병목 특징(BNF)을 학습하고 이를 목표 언어에 전이하는 방식을 제안한다. 먼저, 실험에 사용된 데이터는 GlobalPhone 코퍼스에서 16개 언어를 선택하였다. 이 중 10개 언어는 전사와 함께 제공되어 고자원 언어로 사용하고, 나머지 6개 언어는 전사 없이 제로리소스 언어로 설정하였다. 또한 WSJ 영어 데이터를 81시간 전체와 15시간 부분집합으로 활용해 단일 언어 데이터와 다국어 데이터의 효과를 비교하였다. 베이스라인 특징으로는 전통적인 MFCC와 PLP에 Δ, ΔΔ를 추가한 형태와, VTLN을 적용한 변형을 사용하였다. VTLN은 화자마다 다른 음성관 길이를 보정해 스펙트럼을 정규화한다. 비지도 방법으로는 correspondence autoencoder(cAE)를 도입했는데, 이는 비지도 용어 탐지(UTD) 시스템이 제공하는 ‘동일 단어 쌍’을 이용해 DNN을 학습시켜 비언어적 변동성을 억제한다. cAE는 입력과 목표 출력이 동일한 프레임을 매핑하도록 훈련되며, 중간 레이어를 특징으로 추출한다. 실험에서는 MFCC와 MFCC+VTLN을 입력으로 사용했으며, gold‑standard(수동 라벨링) 단어 쌍을 이용한 상한선도 함께 측정하였다. 다국어 BNF는 각 고자원 언어에 대해 SGMM을 이용해 context‑dependent state 라벨을 만든 뒤, 이를 TDNN에 block softmax 형태로 학습시켜 얻었다. TDNN은 6개의 625차원 은닉층과 39차원 병목층을 포함하고, i‑vector를 추가해 화자 정보를 보정하였다. 다국어 학습에서는 모든 언어가 동일한 은닉층을 공유하고, 언어별 출력층만 별도로 두어 각 언어의 라벨에 맞게 오류를 역전파한다. 최종적으로 10개 언어를 모두 사용해 학습한 모델은 각 언어에 대해 약 2% 정도 WER 감소를 보였으며, 가장 중요한 것은 이 모델이 추출한 BNF가 제로리소스 언어에서도 강력한 특징으로 작동한다는 점이다. 성능 평가는 ‘same‑different’ 과제, 즉 두 음성 구간이 동일 단어인지 여부를 DTW 비용으로 판단하는 방식으로 진행하였다. 평균 정밀도(AP)를 주요 지표로 사용했으며, 동일 화자와 다른 화자 쌍을 구분해 스피커 불변성을 강조하였다. 결과는 다음과 같다. (1) VTLN을 적용한 MFCC만으로도 기존 MFCC 대비 AP가 크게 상승하였다. (2) cAE를 UTD 쌍으로 학습하면 VTLN과 결합했을 때 최고 AP를 기록했으며, gold‑standard 쌍을 사용하면 더욱 높은 상한선을 얻었다. (3) 단일 언어 BNF조차도 cAE‑UTD보다 높은 AP를 보였고, 언어를 2개 추가하면 급격히 성능이 향상되었다. (4) 8~10개 언어로 학습한 BNF는 모든 실험 언어에서 최고 성능을 달성했으며, gold‑cAE를 지속적으로 앞섰다. (5) 동일 언어에 더 많은 데이터를 투입했을 때도, 2개 언어(약 46시간)만 사용한 경우가 4개 언어(81시간)보다 더 좋은 결과를 보였다. (6) BNF에 cAE를 추가로 적용했을 때, UTD 기반 약한 쌍은 큰 효과가 없었지만, 고품질 라벨링된 단어 쌍을 사용하면 AP가 평균 5~10% 상승했다. 결론적으로, 다국어 병목 특징은 제로리소스 언어에 대한 서브워드 모델링에서 가장 강력한 사전 학습 특징이며, 필요에 따라 cAE를 통해 목표 언어에 맞게 미세조정할 수 있다. 이는 전사 데이터가 전혀 없는 소수 언어에 대한 음성 검색, 키워드 탐지, 저리소스 ASR 등 실용적인 응용에 바로 적용 가능함을 시사한다. 향후 연구에서는 더 다양한 언어군과 비지도 단어 쌍 생성 방법을 결합해 성능을 극대화하고, 실제 서비스 환경에서의 효율성을 검증하는 것이 과제로 남는다.