토큰화 다중성으로 인한 LLM 서비스 가격 변동 해결 방안

초록

LLM‑as‑a‑service에서 동일 문자열이라도 토큰화 방식이 달라져 비용 차이가 발생한다. 논문은 비영어 출력에서 토큰화 다중성이 빈번히 나타남을 실증하고, 학습 시 사용된 정규 토큰화만 허용하는 ‘정규 생성(canonical generation)’과 Gumbel‑Max 기반 효율적 샘플링 알고리즘을 제안한다. 실험 결과, 정규 생성은 기존 샘플링과 성능·속도 차이가 없으며 가격 변동 문제를 근본적으로 해결한다.

상세 분석

본 논문은 LLM‑as‑a‑service 환경에서 “토큰당 가격”이라는 단순 과금 모델이 내포하고 있는 숨은 위험을 파헤친다. 토큰화는 문자열을 모델이 이해할 수 있는 단위로 변환하는 과정이며, 동일 문자열이라도 여러 토큰화 경로가 존재한다는 점은 기존 연구에서도 언급되었지만, 실제 서비스 비용에 미치는 영향을 정량적으로 보여준 사례는 드물다. 저자들은 비영어(특히 독일어) 출력에서 동일 문자열이 26~28개의 토큰으로 다르게 분할되는 사례를 제시하며, 이는 7.7% 수준의 비용 차이를 초래한다는 점을 강조한다.

핵심 이론적 기여는 “정규 토큰화(canonical tokenization)” 개념을 활용한 제약 생성 방식이다. 학습 단계에서 사용된 토크나이저가 반환하는 단일 토큰화 경로만을 허용함으로써, 모델이 비정규 토큰화를 생성할 가능성을 원천 차단한다. 이를 구현하기 위해 저자들은 Gumbel‑Max 트릭을 이용한 효율적인 샘플링 알고리즘을 설계했으며, 이는 각 단계에서 가능한 토큰 후보들 중 정규 토큰화에 해당하는 후보만을 선택하도록 확률을 재조정한다. 이 과정은 기존의 온도 기반 샘플링과 비교해 복잡도가 크게 증가하지 않으며, 실제 실험에서 평균 실행 시간이 거의 동일함을 보였다.

실험 설계는 번역, 맞춤법 검사, 문장 재구성이라는 세 가지 자연어 처리 태스크를 선택하고, 각각 100개의 프롬프트를 100번씩 재현해 두 사용자 간 출력 문자열이 동일하지만 토큰 길이가 다른 경우를 집계했다. 결과는 오픈소스 모델(Llama, Qwen)뿐 아니라 GPT‑4, Gemini, Claude와 같은 상용 모델에서도 토큰화 다중성이 빈번히 관찰되었으며, 특히 Gemini는 <1% 수준으로 낮았지만 완전히 배제되지는 않았다. 정규 생성 적용 후에는 모든 모델에서 토큰 길이 차이가 사라졌으며, BLEU, ROUGE 등 품질 지표에서도 기존 샘플링과 통계적으로 유의미한 차이가 없었다. 이는 정규 생성이 모델 성능을 손상시키지 않으면서도 비용 예측 가능성을 크게 향상시킨다는 강력한 증거가 된다.

또한 논문은 가격 변동 문제를 경제학적 관점에서 분석한다. 토큰당 과금이 비정규 토큰화에 의해 변동될 경우, 사용자는 동일 서비스에 대해 불공정한 비용을 부담하게 되며, 이는 시장 효율성을 저해한다. 기존 연구에서 제시된 문자당 과금 모델은 이러한 변동성을 완화하지만, 구현 복잡성과 제공자 마진 감소라는 새로운 문제를 야기한다. 정규 생성은 토큰당 과금 체계를 그대로 유지하면서도 가격 변동을 근본적으로 차단하는 실용적인 해결책을 제공한다.

결론적으로, 이 연구는 토큰화 다중성이 실무에서 발생하는 비용 불균형을 실증하고, 정규 생성이라는 간단하면서도 효과적인 방법을 제시함으로써 LLM 서비스의 투명성과 공정성을 크게 향상시킨다. 향후 연구에서는 다양한 언어와 토크나이저 구조에 대한 확장 검증, 그리고 정규 생성이 모델 압축이나 파인튜닝 단계에 미치는 영향을 탐색할 여지가 있다.