저자원 언어 Zarma의 문법 오류 교정: MT 모델이 선도

초록

본 연구는 서아프리카 언어인 자마(Zarma)를 대상으로 문법 오류 교정(GEC) 시스템을 세 가지 접근법(규칙 기반, 기계 번역 기반, 대형 언어 모델 기반)으로 비교한다. 25만 개의 합성·인간 주석 데이터를 활용해 실험했으며, 다국어 번역 모델 M2M100이 자동 평가에서 95.82% 탐지율·78.90% 제안 정확도를 기록, 인간 평가에서도 평균 3.0/5.0 점을 받아 가장 우수한 성능을 보였다. 규칙 기반은 맞춤법 교정에 강점이 있으나 복합 문맥 오류에 한계가 있었고, LLM(Gemma 2B, MT5‑small)은 중간 수준의 결과를 냈다. 동일 방법을 바바라(Bambara)에도 적용해 재현성을 확인했다.

상세 분석

이 논문은 저자원 언어에 대한 GEC 연구가 거의 없는 상황을 타개하고자, Zarma라는 500만 명 이상이 사용하는 서아프리카 언어를 대상으로 체계적인 실험을 설계했다. 데이터 구축 단계에서 저자들은 Feriji 말뭉치를 기반으로 248,000개의 합성 오류 문장을 생성하고, 2,000개의 인간 주석 데이터를 추가해 총 250,000개의 학습·검증·테스트 샘플을 확보했다. 합성 오류는 삽입·삭제·대체·전치 네 가지 연산을 확률적으로 적용했으며, 실제 타이핑 오류 패턴(키보드 인접성, 빠른 입력)과 문법적 변형(시제, 어미)까지 반영했다. 이는 저자원 상황에서 데이터 희소성을 보완하기 위한 실용적인 접근이다.

세 가지 모델링 전략은 각각의 장단점을 명확히 드러낸다. 규칙 기반 시스템은 Levenshtein 거리와 Bloom filter를 결합해 사전 조회와 빠른 스펠링 교정을 수행한다. 특히 Zarma가 교착어적 형태소 결합을 많이 사용한다는 점을 고려해 접미사‑어근 구조를 파싱하는 규칙을 구현했지만, 복합 문맥 오류(예: 시제·태도 불일치)와 논리적 오류를 포착하지 못한다는 한계가 있었다.

LLM 기반 접근은 두 가지 파인튜닝 방식을 시도했다. 첫 번째는 “Instruction + Error Explanation” 프롬프트 형태로 입력‑출력 쌍과 오류 원인을 함께 제공해 모델이 교정 이유를 추론하도록 유도했으며, 두 번째는 순수한 문장 정렬 방식으로 오류 문장을 정답 문장에 직접 매핑했다. Gemma 2B와 MT5‑small을 QLoRA로 압축해 메모리 효율을 높였지만, Zarma와 같은 초저자원 언어에서는 사전 학습 단계에서 충분한 언어 표현을 습득하지 못해 성능이 제한적이었다. 자동 평가에서 GLEU 0.55 수준, M² 0.62 정도를 기록했으며, 인간 평가에서도 평균 2.4/5.0 점에 머물렀다.

가장 두드러진 성과는 다국어 번역 모델 M2M100을 GEC 작업에 재구성한 점이다. 기존에는 소스‑타깃 언어 간 번역을 위해 설계된 M2M100을 “오류 → 정정”이라는 단일 언어 내 변환 태스크로 재학습시켰다. 합성 데이터와 인간 주석을 모두 사용해 fine‑tuning을 진행했으며, 학습 하이퍼파라미터(배치 64, 학습률 3e‑4, 5 epoch)와 교차 엔트로피 손실을 적용했다. 결과적으로 자동 평가에서 탐지율 95.82%, 제안 정확도 78.90%를 달성했으며, GLEU 0.79, M² 0.91이라는 높은 점수를 기록했다. 인간 평가에서도 평균 3.0/5.0 점을 받아, 규칙 기반·LLM 대비 실질적인 문법·논리 오류 교정 능력이 우수함을 입증했다.

또한, 동일 파이프라인을 바바라(Bambara) 데이터에 적용해 동일한 성능 향상이 관찰되었으며, 이는 제안된 MT 기반 GEC 접근법이 서아프리카 저자원 언어 전반에 일반화 가능함을 시사한다. 논문은 데이터 구축, 모델 설계, 평가 방법론을 투명하게 제시함으로써 향후 다른 저자원 언어에 대한 GEC 연구의 베이스라인을 제공한다. 다만, M2M100의 경우 학습 비용이 상대적으로 높고, 실제 서비스 적용 시 실시간 추론 속도와 메모리 요구사항을 고려해야 한다는 점이 남는다. 향후 경량화된 다국어 MT 모델이나 효율적인 프루닝 기법을 도입하면 실용성을 더욱 높일 수 있을 것으로 기대된다.