언어 확률 모델링의 새로운 시각

초록

본 논문은 언어 식별(LID)을 전역 고정 사전 확률을 사용하는 텍스트 분류 문제로 보는 기존 패러다임을 비판하고, 지역적 환경 신호를 활용한 동적 사전 확률 추정이 필요함을 주장한다. 이를 위해 베이즈식 모델링, 전역·지역 사전의 한계, 대규모 오류 문제 등을 분석하고, 루이지애나 크리올과 고대 리구아 프랑카 사례를 통해 실용적 라우팅 문제로서의 LID 재구성을 제안한다.

상세 분석

논문은 먼저 현재 상용 및 연구용 LID 시스템이 7천 개 언어 중 수백 개만을 안정적으로 인식한다는 사실을 지적한다. 이는 언어를 “텍스트 → 라벨”의 전역 분류 문제로 보는 오래된 프레이밍에 기인한다는 것이 핵심 주장이다. 베이즈 공식 (P(\ell|X) \propto P(X|\ell)P(\ell)) 을 통해 사전 확률 (P(\ell)) 의 역할을 강조하고, 전역 빈도 기반 사전이 극히 불균형한 분포를 갖기 때문에 희귀 언어는 사후 확률에서 거의 사라진다. 예시에서는 영어와 희귀 언어 (r) 의 사전 확률 차이가 10⁶ 배에 달해, 동일한 입력에 대해 희귀 언어가 100배 높은 우도 (P(X|r)) 을 갖더라도 최종 라벨은 영어가 된다.

이 문제를 완화하려는 일반적 접근은 데이터 재샘플링(희귀 언어 오버샘플링, 다수 언어 언더샘플링)이다. 그러나 재샘플링은 사전 확률을 인위적으로 조정할 뿐, 실제 배포 환경에서 “스크립트 불일치”나 “노이즈 문자” 등으로 인한 거짓 양성(FPR)이 수억 건 규모로 폭증하는 위험을 내포한다. 논문은 특히 웹 규모(100 B 문서)에서 0.01 % FPR이 10 M 개의 잘못된 라벨을 생성해 코퍼스 활용을 불가능하게 만든다고 지적한다.

따라서 저자는 사전 확률을 전역 빈도가 아니라 “지역적 사전”(local prior)으로 재정의할 필요성을 제시한다. 스크립트, 지리 메타데이터, 소셜 네트워크, 사용자 피드백 등 환경 신호를 활용하면, 예를 들어 특정 포럼에서는 루이지애나 크리올(Louisiana Creole)의 사전 확률이 전역 대비 수천 배 높아질 수 있다. 그러나 현재 공개 데이터셋은 출처 메타데이터가 결여돼 있어 이러한 지역 사전을 학습하기 어렵다. 또한 최신 디스크리미네이티브 모델(fastText, CLD3 등)은 소프트웨어 파이프라인에 깊게 통합돼 있어 외부 힌트를 입력받는 인터페이스가 제한적이다.

논문은 LID를 “라우팅 문제”로 재구성한다. 즉, 먼저 환경 힌트를 기반으로 후보 언어 집합을 좁히고, 그 후에 세밀한 텍스트 기반 모델이 최종 라벨을 결정하도록 설계한다. 이는 전통적인 전역 라벨 집합을 고정하는 대신, 동적으로 조정 가능한 라벨 스페이스를 제공함으로써 희귀 언어의 검출 가능성을 크게 높인다.

마지막으로, 저자는 학계와 산업계가 “글로벌 고정 사전”을 유지하는 구조적·인센티브적 요인을 비판한다. 논문은 이러한 구조가 연구 방향을 사후 평가 지표에 맞추게 만들고, 실제 현장에서 필요한 지역 사전 추정 연구를 억제한다고 주장한다.