초저자원 라딘어 NLP 벤치마크와 합성 데이터 활용

초록

본 논문은 이탈리아어‑라딘어 병렬 코퍼스를 활용해 감성 분석과 객관식 질문응답(MCQA)용 합성 라딘어 데이터를 자동 생성하고, 이를 기계번역 모델에 추가 학습시켜 번역 품질을 크게 향상시켰다. 또한 라딘어 전용 감성·QA 데이터셋을 최초로 공개함으로써 극히 제한된 자원 환경에서도 다중 NLP 태스크 연구가 가능하도록 기반을 마련한다.

상세 분석

이 연구는 라딘어(Val Badia 방언)라는 극저자원 언어에 대한 실용적인 데이터 파이프라인을 제시한다는 점에서 의미가 크다. 먼저 기존 연구(Fronull & Moser, 2024)에서 구축된 18 k 문장의 이탈리아‑라딘 병렬 코퍼스를 기반으로, LLaMA‑3.1(8B·70B)과 GPT‑4o를 포함한 여러 대형 언어 모델(LLM)과 NLLB‑200·MBART‑large‑50 같은 시퀀스‑투‑시퀀스 모델을 비교 실험한다. 특히 LLM을 few‑shot과 LoRA‑fine‑tuning 두 방식으로 적용해 성능 차이를 정량화하고, 라딘어 전용 토큰 태그 삽입을 통해 토크나이저가 라딘어를 인식하도록 조정한 점이 주목할 만하다. 평가 지표는 SacreBLEU, chrF++, ROUGE를 사용했으며, 최종적으로 가장 높은 BLEU 점수를 기록한 모델을 합성 데이터 생성에 활용한다.

합성 데이터 생성 단계에서는 이탈리아어 감성 분석 데이터(D_It_SA, 30 k 샘플)와 MCQA 데이터(D_It_MCQA, 5 k 질문)를 선택한다. 먼저 최적 MT 모델로 이탈리아어를 라딘어로 번역하고, LaBSE 기반 코사인 유사도(c ≥ 0.68) 필터링을 적용해 의미 일관성을 확보한다. 이어서 백번역(back‑translation) 과정을 거쳐 라딘어 → 이탈리아어 번역본(D’_It)과 원본을 비교하고, SacreBLEU와 METEOR 평균값을 초과하는 경우에만 최종 데이터셋에 포함한다. 이러한 이중 필터링은 번역 오류와 의미 왜곡을 최소화해, 라딘어‑이탈리아어 병렬 쌍의 품질을 기존 코퍼스와 동등하거나 그 이상으로 끌어올린다.

생성된 합성 데이터는 세 가지 용도로 활용된다. 첫째, 기존 MT 모델에 추가 학습시켜 번역 성능을 크게 개선한다. 실험 결과, 테스트 셋(t1‑t3)에서 BLEU 점수가 3~5포인트 상승했으며, 특히 문체·법률·구어체가 혼재된 t3에서 가장 큰 개선을 보였다. 둘째, 라딘어 감성 분석 데이터셋을 구축해 텍스트 분류 모델을 훈련시켰으며, 이탈리아어 사전학습 모델을 라딘어에 직접 전이(fine‑tuning)함으로써 78% 이상의 정확도를 달성했다. 셋째, 라딘어 MCQA 데이터셋을 이용해 다중 선택형 질문응답 모델을 평가했으며, 정확도와 F1 점수가 기존 소규모 데이터에 비해 10% 이상 향상되었다.

이 논문의 주요 기여는 (1) 라딘어‑이탈리아어 번역 벤치마크를 기존보다 월등히 높은 수준으로 끌어올린 점, (2) 고품질 합성 라딘어 감성·QA 데이터셋을 최초로 공개한 점, (3) 합성 데이터가 MT뿐 아니라 다른 NLP 태스크에도 유용함을 실증한 점이다. 특히 라딘어와 같이 문서화가 거의 없는 언어에 대해 대규모 LLM을 활용한 자동 데이터 생성 파이프라인을 제시함으로써, 향후 다른 극저자원 언어에도 동일한 접근법을 적용할 수 있는 템플릿을 제공한다. 다만, 백번역 과정에서 사용된 번역 모델 자체가 아직 완전하지 않으며, 인간 검증을 통한 품질 보증 단계가 부족하다는 점은 향후 보완이 필요하다. 또한 라딘어 방언 간 변이와 표준화 문제를 고려한 다방언 확장 연구가 진행되어야 한다.

전반적으로 이 연구는 데이터 부족이라는 근본적인 제약을 기술적 방법론(LLM 기반 번역, 필터링, 백번역)으로 극복하고, 실제 응용 가능성을 입증함으로써 초저자원 언어 NLP 연구에 중요한 이정표를 제시한다.