아프리카 언어를 위한 경량 번역 모델 AfriNLLB

초록

AfriNLLB는 NLLB‑200 600M 모델을 층 프루닝과 FP16 양자화를 통해 경량화하고, 아프리카 10개 토착 언어와 5개 공식 언어를 포함한 15개 언어쌍(30방향) 번역을 지원한다. 다단계 파인튜닝·지식 증류를 적용해 원본 모델과 비슷한 번역 품질을 유지하면서 추론 속도를 최대 57 %까지 높였다. 모델·데이터·코드는 모두 오픈소스로 공개한다.

상세 분석

본 논문은 저자원이 제한된 아프리카 언어 번역을 실용화하기 위해, 대형 다언어 모델인 NLLB‑200 600M을 기반으로 효율적인 경량 모델을 설계·평가한 점이 가장 큰 공헌이다. 먼저 언어 선정 기준을 ‘모국어 화자 수’와 ‘데이터 가용성’으로 설정해 스와힐리·하우사·요루바·암하라·소말리·줄루·링갈라·아프리칸스·볼로프·이집트 아라비아 등 10개 토착 언어와 아라비아어(표준), 프랑스어·포르투갈어·스페인어 등 AU 공식 언어를 포함했다.

데이터 구축 단계에서는 OPUS·HuggingFace·GitHub 등 공개 소스에서 1.2 M 문장을 수집하고, 4단계 정제 파이프라인(규칙 기반 필터링 → 언어 감지 → 의미 유사도 필터링 → 품질 추정)으로 노이즈를 크게 감소시켰다. 특히 아프리카 언어 전용 언어 식별기 AfroLID와 고품질 문장 임베딩 모델(LabSE, DistilUSE)을 활용해 의미적 일관성을 확보했으며, COMET·AfriCOMET‑QE‑STL을 이용한 레퍼런스‑프리 품질 추정으로 최종 6.4 M 문장을 1.6 M(양방향)으로 축소했다.

모델 압축은 ‘iterative layer pruning’ 방식을 채택했다. 먼저 전체 NLLB‑200 600M을 아프리카 언어 데이터로 파인튜닝한 뒤, 디코더 레이어를 하나씩 제거하면서 chrF++ 점수 감소가 가장 적은 레이어를 선택해 4·6·8 레이어를 차례로 삭제했다. 프루닝 후에는 동일 데이터셋으로 1 epoch 추가 파인튜닝을 수행해 손실된 품질을 회복했으며, 최종적으로 548 M(디코더 8층) 모델이 원본 대비 평균 23 % 빠른 추론 속도를 보였다.

품질 회복을 위해서는 두 단계의 파인튜닝 외에도 ‘sequence‑level knowledge distillation’을 도입했다. 3.3 B 교사 모델이 생성한 합성 데이터를 원본 데이터와 합쳐 다시 학습함으로써, 특히 프루닝으로 손실된 저자원 언어의 번역 정확도를 크게 끌어올렸다.

평가에서는 Flores200 dev/test를 사용해 BLEU, chrF++, COMET/AfriCOMET 지표를 측정했으며, 프루닝·FP16 양자화 모델이 원본 NLLB‑200 600M과 거의 동일한 점수를 유지하면서 토큰당 처리량이 57 %까지 증가함을 확인했다. Ablation 실험에서는 ‘중간 레이어 무작위 프루닝’보다 중요도 기반 프루닝이 일관적으로 우수했으며, 인코더 레이어를 유지하는 것이 품질 유지에 더 효과적임을 보여준다.

실용적인 측면에서 저자들은 Transformers 포맷(추가 파인튜닝 가능)과 CTranslate2 포맷(고속 추론) 두 가지 배포 형태를 제공하고, 전체 파인튜닝 데이터와 코드베이스를 공개함으로써 향후 연구·산업 적용을 촉진한다. 제한점으로는 Lingala에 대한 의미 임베딩 모델 부재, 프루닝 후 인코더 레이어 압축에 대한 미비한 탐색, 그리고 실제 현장(모바일·오프라인) 배포 시 메모리·전력 제약에 대한 구체적 평가가 부족한 점을 들 수 있다. 전반적으로, 대형 다언어 모델을 저자원 언어에 맞게 효율화하는 방법론을 체계적으로 제시하고, 아프리카 언어 번역 인프라 구축에 실질적인 기여를 한 연구라 평가한다.