프랑스어 특화 소형 언어 모델 Luth

초록

본 논문은 프랑스어 전용 데이터셋 Luth‑SFT(57만 개의 인스트럭션‑응답 쌍)와 고품질 시험 자료를 활용해 350M~1.7B 파라미터 규모의 소형 언어 모델을 프랑스어에 최적화한다. 기존 다국어 모델 대비 프랑스어 벤치마크에서 평균 +11 %p 향상을 달성했으며, 모델 병합(SLERP/Linear) 기법을 통해 영어 성능도 유지·향상시킨다.

상세 분석

이 연구는 프랑스어가 영어에 비해 데이터와 모델 지원이 부족한 현황을 정확히 짚어낸다. 먼저, 저자들은 기존 다국어 데이터(A​YA, Smoltalk 등)에서 프랑스어 샘플을 언어 감지기로 추출하고, 고품질 영어 인스트럭션 데이터(Tülu 3, Open‑Hermes)를 GPT‑4o와 Qwen3 32B로 번역·재생성함으로써 570 k(≈3.38 억 토큰)의 Luth‑SFT 데이터셋을 구축한다. 특히, 번역 후 답변을 새로 생성하는 방식을 채택해 번역 오류와 문화적 부조화를 최소화했다.

데이터 품질을 강화하기 위해 두 단계 필터링을 적용한다. 첫 단계는 문법·일관성·프랑스어 순수성을 검증하는 언어적 검증이며, 두 번째는 프로그래밍·툴 호출·논리적 오류 등 비핵심 콘텐츠를 제거하는 내용 필터링이다. 이와 별도로, 1980‑2025년 프랑스 고등학교·대학 입시 문제와 해설을 정제·라텍스 포맷팅하여 30 k 이상의 ‘Scholar’ 서브셋을 만든 점은 과학·수학 분야에서의 모델 성능을 크게 끌어올릴 수 있는 독창적 기여다.

모델 선택에서는 350 M~1.7 B 파라미터의 LFM2와 Qwen3 시리즈를 후보로 삼아, 프랑스어·영어 모두에서 수학·일반 지식·인스트럭션 수행 능력을 사전 평가한다. 이후 Axolotl 프레임워크와 FlashAttention을 이용해 3 epoch, H100 80 GB 한 대에서 전체 파라미터를 fine‑tuning한다. 하이퍼파라미터 탐색을 최소화했음에도 불구하고, 학습 손실이 안정적으로 감소함을 보여준다.

핵심적인 혁신은 모델 병합이다. 프랑스어 전용 데이터로 fine‑tuning한 후 영어 성능이 약간 저하되는 현상을 SLERP(구형 보간) 혹은 Linear(선형 보간) 방식으로 베이스 모델과 혼합해 보완한다. 병합 비율(α)은 0.3~0.7 사이에서 최적화했으며, MergeKit을 활용해 가중치를 직접 조합한다. 실험 결과, 병합 모델은 프랑스어 벤치마크에서 기존 fine‑tuned 모델을 앞서는 동시에 영어 IFEval, GPQA‑Diamond 등에서도 손실을 회복하거나 개선한다. 이는 파라미터 공간에서 두 모델이 서로 보완적인 특성을 가지고 있음을 시사한다.

평가에서는 IFEval, MMLU, GPQA‑Diamond, Math500, ARC‑Challenge, HellaSwag 등 6가지 프랑스어·영어 벤치마크를 사용했다. Luth‑1.7 B‑Instruct는 평균 58.5 %(영어)·49.8 %(프랑스어) 점수로, 동일 규모의 공개 모델 중 최고 수준을 기록한다. 특히 수학·과학 문제에서 Scholar 서브셋 덕분에 30 % 이상 상승한 점이 눈에 띈다.

한계점으로는 파라미터 규모가 2 B 이하에 국한돼 대형 모델과의 직접 비교가 어려우며, 하이퍼파라미터 탐색이 제한적이라는 점을 들 수 있다. 또한, 번역 기반 데이터 생성 과정에서 번역 모델의 편향이 전이될 가능성도 존재한다. 향후 연구에서는 더 다양한 언어와 도메인에 적용 가능한 자동화된 병합 전략과, 파라미터 효율성을 높이는 LoRA·Adapter 방식과의 비교가 필요하다.

전반적으로, Luth은 프랑스어 특화 소형 모델을 구축하는 실용적인 파이프라인을 제시하고, 모델 병합을 통한 다언어 유지·향상 전략을 검증함으로써, 제한된 자원 환경에서도 고품질 비영어 LLM을 만들 수 있음을 입증한다.