멀티장르 방송 전사에서의 음소·그래프 기반 ASR 성능 비교와 결합 전략

본 논문은 영어 멀티장르 방송 전사(MGB‑3) 과제에서 음소(phonetic)와 그래프(graphemic) 어휘를 각각 사용한 자동음성인식(ASR) 시스템을 비교하고, 다양한 결합 기법을 적용해 두 시스템의 성능 차이를 최소화하는 방법을 제시한다. **배경 및 동기** 전통적인 HMM‑기반 ASR에서는 음소 어휘가 표준으로 사용돼 왔으며, 이는 철자와 발음 사이의 복잡한 매핑을 명시적으로 정의한다. 반면 그래프 어휘는 철자를 그대로 사용해 사전 구축이 간단하고 OOV 처리에 유리하지만, 영어와 같이 철자‑발음 불일치가 큰 언어에서는 성능이 크게 떨어진다. 최근 딥러닝 기반 음향 모델이 장시간 컨텍스트를 효과적으로 학습하면서, 그래프 어휘가 음소 어휘와 동등한 수준에 이를 수 있다는 기대가 제기되었다. **실험 설계** - **데이터**: BBC 방송 프로그램에서 추출한 375시간(훈련) 중 275시간을 사용, 6시간 dev set(dev17b)으로 평가. - **특징**: 40차원 Mel‑filterbank + utterance‑level mean, segment‑level variance 정규화. - **음향 모델**: LF‑MMI 기준으로 훈련된 네 종류( DNN, TDNN, LSTM, TDNN‑LSTM). 각 모델은 컨텍스트 윈도우가 다르게 설정돼, DNN은 ±10프레임, TDNN은 −15~+10프레임, LSTM는 −40~+7프레임, TDNN‑LSTM은 −50~+20프레임을 커버한다. - **어휘**: 음소 어휘는 26개 알파벳을 기반으로 3‑phone 매핑, 그래프 어휘는 26개 문자와 추가 속성(‘s’, 약어 등)으로 구성. 양 어휘 모두 3600개의 좌/우 바이포닉(또는 바이그라프) 상태를 목표로 함. - **언어 모델**: 3‑gram(64K vocab) + RNNLM(1‑layer GRU, NCE 학습)으로 2차 재점수화. 최종 디코딩은 MBR(최소 베이즈 위험) 방식 사용. **주요 결과** 1. **음소 vs 그래프 성능 차이** - DNN: 음소 27.8% WER, 그래프 30.7% (+10.4% 상대 차이) - TDNN: 음소 24.4%, 그래프 26.9% (+10.3%) - LSTM: 음소 25.0%, 그래프 26.7% (+6.8%) - TDNN‑LSTM: 음소 23.4%, 그래프 25.0% (+6.8%) 시간적 컨텍스트가 길어질수록 그래프 시스템의 상대적 열위가 감소한다는 점이 확인되었다. 2. **컨텍스트 단위 영향** - TDNN‑LSTM에서 바이포닉(phoneme) vs 바이그라프(grapheme) 비교 시, 바이포닉이 23.4% WER, 바이그라프가 25.0% WER. - 모노(단일) 단위로 축소하면 음소는 3.9% WER, 그래프는 26.2% WER로 급격히 악화, 이는 그래프 어휘가 문자 수준에서의 불규칙성을 충분히 모델링하려면 컨텍스트 의존성이 필수임을 의미한다. 3. **시스템 결합** - **sMBR 훈련**: 동일 TDNN‑LSTM 모델을 sMBR 기준으로 재훈련하면 23.7% → 21.3% WER(9% 상대 개선). - **모델 스무딩**: LF‑MMI 훈련 중 20개의 중간 모델을 레이어별 가중치로 평균화, 추가적인 성능 향상 가능. - **다양성 측정**: cWER을 이용해 모델 간 차이를 정량화했으며, 다양성이 클수록 MBR 결합 효과가 크게 나타났다. 4. **음소·그래프 결합 효과** - 가장 복잡한 TDNN‑LSTM 모델에서 음소와 그래프 시스템을 MBR 방식으로 결합하면 21.7% WER을 달성, 이는 개별 시스템 대비 각각 7.3%와 6.8%의 상대 개선에 해당한다. - 결합 이득은 모델 복잡도와 컨텍스트 길이가 증가할수록 커지며, 이는 그래프 시스템이 음소 시스템이 놓치는 특정 발음 변이(예: 약어, 축약형, 비표준 발음)를 보완한다는 의미다. **시사점 및 결론** - 그래프 어휘는 사전 구축 비용이 낮고 OOV 처리에 유리해 실시간·대규모 서비스에 매력적이다. 그러나 짧은 컨텍스트를 사용하는 경량 모델에서는 여전히 음소 어휘가 우세하므로, 시스템 설계 시 정확도와 연산량·지연시간 사이의 트레이드오프를 고려해야 한다. - LF‑MMI 기반의 깊은 신경망(특히 TDNN‑LSTM)과 같은 장시간 컨텍스트 모델을 활용하면 그래프 시스템과 음소 시스템 간 격차를 크게 줄일 수 있다. - 다양한 모델 결합(랜덤 초기화 기반 앙상블, 파라미터 스무딩, MBR 결합 등)은 각각의 강점을 살리면서 전체 성능을 향상시키는 효과적인 방법이며, 향후 멀티도메인·멀티언어 ASR에서도 적용 가능할 것으로 기대된다.