아프리카 언어 자동음성인식 모델 벤치마크와 데이터 규모·디코딩 전략 비교

초록

본 연구는 Whisper, XLS‑R, MMS, W2v‑BERT 네 가지 최신 사전학습 ASR 모델을 13개 아프리카 언어에 대해 1시간부터 400시간까지 점진적으로 확대된 라벨링 데이터로 미세조정하고, 각 모델의 데이터 효율성, 확장성, 외부 n‑gram 언어모델(LM) 디코딩 효과를 체계적으로 평가한다. 결과는 MMS와 W2v‑BERT가 극초저자원 상황에서 가장 효율적이며, XLS‑R는 데이터가 늘어날수록 급격히 성능이 향상되고, Whisper는 중간 규모 데이터에서 강점을 보인다. 또한 LM 디코딩은 저자원·고복합 언어에서 유의미한 개선을 제공하지만, 모델이 충분히 강력해지면 오히려 성능이 정체되거나 악화될 수 있음을 확인한다.

상세 분석

본 논문은 아프리카 언어 ASR 연구에서 흔히 발생하는 ‘단일 모델·단일 데이터셋’ 접근을 탈피하여, 네 가지 사전학습 모델을 동일한 실험 파이프라인에 통합한 점이 가장 큰 강점이다. 모델 선택은 Whisper‑small, XLS‑R‑300M, W2v‑BERT‑2.0‑600M, MMS‑1B 로, 모두 파라미터 규모와 연산 요구량을 고려해 실용적인 크기로 제한하였다. 데이터 스케일링은 1, 5, 10, 20, 50, 100, 200 시간에 추가로 Swahili는 400시간까지 확장했으며, 각 언어별 테스트 셋을 고정해 비교 가능성을 확보하였다.

1️⃣ 데이터 효율성: 110시간 수준에서는 MMS와 W2v‑BERT가 다른 모델에 비해 평균 1215%p 낮은 WER를 기록했다. 이는 두 모델이 대규모 비지도 음성(≈4.5M 시간)과 다국어 대비 학습된 wav2vec‑ 기반 구조라, 소량 라벨링 데이터만으로도 강력한 음향 표현을 추출할 수 있기 때문이다.

2️⃣ 스케일링 특성: XLS‑R은 2050시간 구간에서 급격한 성능 향상을 보였으며, 특히 Afrikaans(38.6%→2.8%)와 Xhosa(54.7%→8.5%)에서 50시간 이내에 거의 최종 수준에 도달했다. 이는 XLS‑R이 128개 언어(≈436k 시간)에서 사전학습된 다국어 음향 모델이며, 아프리카 언어와의 언어·음성 도메인 겹침이 충분히 존재하기 때문이다. 데이터가 100시간을 넘어가면 언어별 수렴 속도가 다르게 나타났으며, Swahili는 400시간까지 꾸준히 개선되었지만 Luganda는 100200시간 구간에서 정체 현상을 보였다.

3️⃣ Whisper의 중간 규모 강점: Whisper‑small은 50~200시간 구간에서 다른 모델보다 낮은 WER를 기록했으며, 특히 잡음·도메인 변동성이 큰 데이터에서도 강인한 성능을 유지했다. 이는 Whisper가 680k 시간(97언어) 라벨링·번역 데이터를 활용해 엔코더‑디코더 트랜스포머를 학습했으며, 멀티태스크 학습으로 잡음에 대한 일반화 능력이 뛰어나기 때문이다.

4️⃣ 외부 LM 디코딩 효과: XLS‑R과 W2v‑BERT에 5‑gram KenLM(Kneser‑Ney smoothing) 을 적용했을 때, 저자원(≤20시간)에서는 평균 4.2%p WER 감소가 관찰되었다. 특히 어휘가 풍부하고 교착어 특성을 가진 Lingua와 Shona에서 큰 효과가 나타났다. 그러나 데이터가 100시간 이상으로 확대되면 LM 효과는 점차 감소하고, 일부 언어에서는 오히려 과적합 현상으로 WER가 상승했다. 이는 강력한 음향 모델이 자체 언어 패턴을 충분히 학습한 상황에서 외부 LM이 불필요한 제약을 가하기 때문이다.

5️⃣ 언어 특성·프리트레인 커버리지 상관관계: Kinyarwanda는 XLS‑R·W2v‑BERT 사전학습에 이미 대량 포함돼 있어, 해당 모델을 fine‑tune 하면 데이터 누수 위험이 존재한다는 점을 논문이 명시한다. 따라서 Kinyarwanda에 대해서는 Whisper·MMS·wav2vec2‑large만을 사용했으며, 결과적으로 Whisper가 가장 안정적인 성능을 보였다. 이는 사전학습 코퍼스와 목표 언어 간 겹침 정도가 모델 선택에 결정적인 영향을 미친다는 실증적 증거다.

6️⃣ 실험 인프라와 재현성: 모든 실험은 HF Hub 체크포인트와 동일한 전처리 파이프라인을 사용했으며, BF16, gradient accumulation, AdamW 등 최신 학습 기법을 적용했다. GPU 환경(NVIDIA A40, A100 등)과 학습 시간도 상세히 기술돼 있어, 향후 연구자가 동일 조건을 재현하거나 확장하기 용이하다.

종합적으로, 논문은 “데이터 규모·프리트레인 커버리지·모델 아키텍처·디코딩 전략” 네 축이 상호작용해 성능을 결정한다는 프레임워크를 제시한다. 이는 아프리카와 같이 라벨링 비용이 높은 저자원 언어에서, 모델 선택과 데이터 수집 전략을 체계적으로 설계하는 데 실질적인 가이드라인을 제공한다.