다국어 언어 모델 성능 격차의 원인 설계 선택이 만든 차이

초록

본 설문은 다국어 언어 모델에서 나타나는 언어별 성능 차이가 언어 자체의 복잡성 때문인지, 아니면 토크나이저, 인코딩, 데이터 샘플링 등 설계 선택에 기인한 것인지를 체계적으로 검토한다. 주요 언어학적 특성(표기법, 형태론, 어휘 다양성, 구문 등)과 모델링 메커니즘을 연결하고, 설계 조정을 통해 격차를 크게 감소시킬 수 있음을 보여준다. 마지막으로 토크나이징, 샘플링, 아키텍처, 평가 방법에 대한 실용적인 권고안을 제시한다.

상세 분석

이 논문은 다국어 언어 모델(LLM)의 성능 격차를 ‘내재적 언어 난이도’와 ‘모델 설계 선택’ 두 축으로 나누어 분석한다. 먼저 표기법(orthography) 차이가 토큰화와 인코딩 효율에 미치는 영향을 상세히 살펴본다. 라틴 알파벳은 1바이트로 표현되지만, 한자·히라가나·아라비아 문자 등은 2~3바이트를 차지한다. 동일한 토큰 예산 하에서 비라틴 스크립트는 실제 문자 노출이 감소하고, 시퀀스 길이가 늘어나 컨텍스트 윈도우가 얇아지는 부작용이 발생한다. 이는 BPE가 바이트 수준에서 병합을 시작할 때 비라틴 언어가 UNK 토큰에 더 많이 노출되는 현상과 맞물려, 학습 신호가 불균형하게 배분되는 원인이다.

형태론적 복잡성도 토크나이저와 직접 연관된다. 교착어·교합어 등 형태소가 풍부한 언어는 동일 어휘가 다양한 형태로 변형되어 빈도 분포가 얇아진다. 그러나 기존의 빈도 기반 서브워드 토크나이저는 이러한 형태소 경계를 제대로 포착하지 못하고 과도하게 분할한다. 결과적으로 토큰당 정보량이 감소하고, 학습 효율이 저하된다. 형태소 인식 토크나이저(Morfessor 등)나 스크립트‑특화 BPE를 적용하면 이 격차가 크게 완화된다.

어휘 다양성(lexical diversity) 역시 토큰화와 데이터 할당의 산물이다. 복합어가 많은 언어는 동일 의미를 전달하는 토큰 수가 늘어나며, 이는 ‘type‑token ratio’가 높아지는 원인이다. 하지만 이 현상은 실제 언어 복잡성이라기보다, 서브워드 토크나이저가 복합어를 여러 조각으로 쪼개면서 발생한다. 어휘‑정규화된 샘플링이나 문자‑레벨 모델을 도입하면 어휘 다양성에 따른 성능 차이가 크게 줄어든다.

구문적 차이는 직접적인 난이도보다 공유 파라미터에 의한 ‘negative transfer’를 유발한다. 언어 간 구조적 거리가 클수록 동일 파라미터가 서로 충돌하고, 표현이 붕괴되는 현상이 관찰된다. 이를 완화하기 위해 언어별 어댑터, 모듈식 라우팅, 혹은 타입‑별 용량 할당과 같은 설계가 제안된다.

마지막으로 평가 단계에서도 토크나이징·인코딩 차이가 퍼플렉시티와 다운스트림 정확도에 영향을 미친다. 문자·형태소 수준의 메트릭을 추가하고, 토크나이저 진단을 포함한 평가 프로토콜을 마련해야 공정한 비교가 가능하다. 전반적으로 논문은 성능 격차가 ‘설계 선택’에 크게 기인함을 실험적 증거와 메타분석을 통해 설득력 있게 제시한다.