토큰 단위 앙상블 지식 증류: G2P 변환의 정확도 향상과 모델 경량화

초록

본 연구는 자동 음성 인식 및 텍스트-음성 변환의 핵심 요소인 그래핀-투-포넴(G2P) 변환의 성능을 높이는 새로운 방법을 제안합니다. 기존 RNN/CNN 기반 시퀀스-투-시퀀스 모델의 한계를 극복하기 위해, ‘토큰 수준 앙상블 지식 증류’ 기법을 도입했습니다. 이 방법은 대량의 레이블 없는 데이터를 활용해 정확도를 높이고, 동시에 앙상블 모델의 지식을 단일 경량 모델로 압축하여 온라인 배포 효율성을 극대화합니다. Transformer 아키텍처를 최초로 G2P에 적용했으며, 공개 데이터셋에서 기존 최고 성능 대비 4.22%의 WER 개선이라는 새로운 SOTA 결과를 달성했습니다.

상세 분석

본 논문이 제안하는 ‘토큰-레벨 앙상블 지식 증류’는 두 가지 실용적 문제를 해결합니다. 첫째, 레이블이 없는 대량의 단어 데이터를 활용한 정확도 향상입니다. 강력한 ‘교사 모델(Teacher Model)’ 앙상블(Transformer, Bi-LSTM, CNN의 조합)이 레이블 없는 그래핀 시퀀스에 대한 포넴 시퀀스와 그 확률 분포를 생성합니다. 이렇게 생성된 ‘가상 레이블(Pseudo Label)’ 데이터를 기존 학습 데이터에 추가하여 ‘학생 모델(Student Model)‘을 학습시키는 방식입니다. 이는 데이터 부족 문제를 완화하고 모델의 일반화 성능을 높이는 효과가 있습니다.

둘째, 모델 경량화입니다. 고성능을 내지만 배포 비용이 큰 앙상블 모델의 ‘지식’을 단일의 작은 Transformer 모델로 증류합니다. 핵심은 ‘토큰-레벨’ 증류에 있습니다. 기존 ‘시퀀스-레벨’ 증류가 최종 출력 시퀀스만을 대상으로 했다면, 토큰-레벨 증류는 디코딩 과정의 매 시간 단계(토큰)마다 교사 모델의 출력 확률 분포를 학생 모델이 학습하도록 합니다. 이는 생성 과정의 세부적인 불확실성 정보까지 전달받아 더 정확한 학습을 가능하게 합니다.

기술적 통찰로는 Transformer의 도입이 중요합니다. RNN/CNN에 비해 장기 의존성 모델링과 병렬 계산에 강점이 있는 Transformer를 G2P에 최초 적용하여 기본 성능 자체를 높였습니다. 또한, 다양한 아키텍처(Transformer, LSTM, CNN)를 앙상블하여 모델 다양성을 확보함으로써 증류의 효과를 극대화했습니다. 실험 결과, 토큰-레벨 증류가 시퀀스-레벨보다 우수했으며, 레이블 없는 데이터 사용 시 약 1%p의 추가 WER 향상을 보였습니다. 최종적으로 인코더-디코더 1층의 초경량 학생 모델이 6층 기준선 모델보다 파라미터는 1/6로 줄이면서도 정확도는 오히려 높이는 데 성공했습니다.