문법 기반 어절 토크나이저 VerChol, 교착어 효율 혁신

초록

VerChol은 형태소·음절·문자를 단위로 하는 4단계 파이프라인을 통해, 어휘 사전과 규칙 기반 형태소 분석만으로 교착어(특히 타밀어)의 토큰당 단어 수(비옥도)를 1.86까지 낮춘다. BPE 기반 토크나이저 대비 35 % 적은 토큰을 생성하며, 언어별 모듈 교체만으로 터키어·핀란드어·한국어 등에도 적용 가능하도록 설계되었다.

상세 분석

VerChol은 “문법 우선”이라는 핵심 철학 아래, 통계적 서브워드 모델이 갖는 구조적 한계를 형태소‑음절‑문자라는 세 가지 언어학적 최소 단위로 보완한다. 4단계 파이프라인은 (0) 전체 단어 사전 조회, (1) 규칙 기반 형태소 분해, (2) 음절 규칙에 의한 음절 분할, (3) 문자 단위 백업으로 구성된다. 각 단계는 언어‑불변 로직을 공유하고, 언어‑특정 모듈(루트 사전, 접미사 카탈로그, 음운 규칙, 스크립트 테이블)만 교체하면 된다.

타밀어 실험에서는 전체 위키피디아(483 313개의 빈도≥3 단어)에서 32 991 토큰 규모 사전으로 비옥도 1.86을 달성했으며, 이는 16 K BPE(비옥도 2.85)와 68 K Indic‑BPE(비옥도 3.52)에 비해 각각 35 %·47 % 토큰을 절감한다. 특히 전체 토큰 중 91 %가 0·1단계(전체 단어 사전·형태소 분해)에서 처리돼, 장기적 일반화 능력이 뛰어남을 보여준다.

BPE가 형태소 경계를 무시하고 빈도 기반 병합을 수행해 ‘뿌리 불투명성’과 ‘긴 꼬리 단어’ 문제를 야기하는 반면, VerChol은 표면 정렬 방식으로 원문 복원을 100 % 보장한다. 이는 형태소가 공유되는 경우(예: ev/evi/evden)에도 동일한 루트 토큰을 재사용하게 하여 모델이 구조적 패턴을 학습하도록 돕는다.

다른 교착어에 대한 적용 방안도 구체적으로 제시한다. 터키어는 모음 조화와 접미사 변형을 사전 수준에서 전부 열거함으로써 대응하고, 핀란드어는 15개의 격과 자음 약화를 음운 규칙에 포함한다. 한국어는 자모(자모) 블록을 음절 단위로 분할하는 규칙을 적용한다. 이러한 모듈 교체는 기존 언어 자원(루트 사전, 접미사 목록 등)만 있으면 수일 내에 구현 가능하다고 주장한다.

한계점으로는 규칙 기반 시스템이 새로운 어휘(신조어, 외래어) 등장 시 사전 업데이트가 필요하고, 복잡한 어휘 변형을 모두 열거해야 하는 작업량이 존재한다는 점을 인정한다. 또한 현재는 토큰화 효율성만을 측정했으며, 실제 LLM 학습·추론 성능에 미치는 영향을 정량화한 실험은 부족하다. 향후 연구에서는 자동화된 규칙 추출, 동적 사전 확장, 그리고 토크나이저가 LLM 파인튜닝·추론에 미치는 영향을 평가할 계획이다.

전반적으로 VerChol은 교착어 토큰화에서 통계적 방법이 갖는 구조적 비효율성을 형태학적 지식으로 대체함으로써 토큰 효율성을 크게 개선하고, 언어‑특정 모듈만 교체하면 다양한 교착어에 확장 가능한 범용 프레임워크를 제시한다는 점에서 의미가 크다.