LLM을 활용한 방언 아랍어 적응 LoRA 파인튜닝과 MBR 디코딩

초록

본 논문은 사전 학습된 대형 언어 모델(LLM)을 저랭크 어댑터(LoRA)로 파인튜닝하고, 서로 다른 어댑터를 TIES‑Merging으로 결합한 뒤, 방언 특화 최소 베이즈 위험(MBR) 디코딩을 적용해 시리아·모로코·사우디 아랍어 방언의 생성 및 번역 성능을 동시에 향상시키는 방법을 제시한다. 실험 결과, 어댑터 병합과 MBR 디코딩이 방언 충실도(ADI2)와 번역 품질(chrF++) 사이의 균형을 크게 개선함을 확인하였다.

상세 분석

이 연구는 아랍어 방언이라는 저자원 언어 영역에 LLM을 적용하기 위해 세 가지 핵심 기술을 결합한다. 첫째, LoRA 기반 파인튜닝을 통해 파라미터 효율성을 유지하면서 방언 전용 모노링구얼 데이터와 영어‑방언 병렬 데이터를 각각 별도의 어댑터로 학습한다. 모노링구얼 어댑터는 방언 고유의 어휘·형태·구문 패턴을 내재화하고, 번역 어댑터는 의미 정합성을 강화한다. 둘째, 두 어댑터를 TIES‑Merging 기법으로 병합함으로써 파라미터 수준에서 상호 보완적인 학습 신호를 결합한다. 이는 하나의 어댑터가 다른 어댑터의 특성을 희석시키지 않으면서도, 최종 모델이 방언 유창성과 의미 정확성을 동시에 보유하도록 만든다. 셋째, 생성 단계에서 최소 베이즈 위험(MBR) 디코딩을 적용한다. 후보 응답 20개를 샘플링한 뒤 ADI2 점수를 기준으로 재랭크함으로써, 방언 정체성을 최우선 목표로 하는 출력이 선택된다. 실험에서는 LLaMA 3.2와 Jais‑2 두 백본을 비교했으며, LLaMA가 방언 표면형성에서는 우수하지만 번역 품질이 크게 떨어지는 반면, Jais‑2는 두 과제 모두에서 균형 잡힌 성능을 보였다. 어댑터 병합 후 MBR(ADI2) 디코딩을 적용했을 때, 모노링구얼 ADI2가 0.51까지 상승하고 번역 ADI2도 0.36으로 개선되었으며, chrF++도 크게 손실되지 않았다. 이러한 결과는 방언 특화 LLM 구축 시 파라미터 효율적인 어댑터 학습, 어댑터 병합, 그리고 목표 지표 기반 MBR 디코딩이 상호 보완적으로 작용한다는 점을 실증한다. 또한, 데이터 규모가 제한적이고 ADI2가 비공식 방언 표현을 완전히 포착하지 못한다는 한계와, MBR 디코딩이 추론 시간을 다배수로 증가시켜 실시간 서비스 적용에 제약이 있음을 명시한다.