바이트화된 차세대 언어 모델, 볼모(Bolmo)의 혁신

초록

볼모는 기존 서브워드 토크나이저 기반 LLM을 1% 이하의 추가 학습 비용으로 바이트 수준으로 전환하는 두 단계 절차를 제안한다. 라틴어 기반 서브워드 토큰화가 놓치는 문자 단위 정보를 보존하면서도, 기존 모델의 아키텍처와 생태계를 그대로 활용해 추론 속도와 비용 효율성을 유지한다. 실험 결과, 볼모‑7B는 기존 서브워드 모델을 능가하는 문자‑레벨 추론 능력을 보이며, STEM·코드·생물학 시퀀스 등 미세 문자 정보를 요구하는 작업에서 현저히 높은 성능을 기록한다.

상세 분석

볼모 논문은 현재 LLM이 텍스트를 서브워드(단어 조각) 단위로 토큰화함으로써 발생하는 네 가지 주요 문제—문자 수준 정보 손실, 토큰화 편향, 어휘 제한에 따른 언어 편중, 그리고 토큰당 동일한 연산 할당—를 명확히 짚고 있다. 이러한 한계를 극복하기 위해 UTF‑8 바이트를 직접 입력으로 사용하는 ‘바이트‑레벨’ 접근법을 채택했지만, 기존 연구는 새 모델을 처음부터 학습해야 하는 비용 문제로 실용화에 실패했다는 점을 지적한다.

볼모는 두 단계 전이 절차를 도입한다. 1단계에서는 기존 서브워드 모델(Olmo‑3B·7B 등)의 출력과 바이트‑레벨 모델의 출력을 정밀히 맞추는 ‘서브워드‑투‑바이트 증류’를 수행한다. 여기서는 바이트 시퀀스를 서브워드 경계와 일치시키는 손실 함수를 사용해, 바이트 모델이 서브워드 모델의 행동을 거의 그대로 복제하도록 학습한다. 2단계에서는 전체 파이프라인을 엔드‑투‑엔드로 미세 조정해 바이트‑레벨 특유의 장점을 살린다. 이 과정에서 전체 토큰 수는 기존 대비 1% 이하(≈39.3 B 토큰)로, 비용 효율성이 크게 향상된다.

아키텍처 측면에서 볼모는 ‘Latent Tokenizer Language Model(LTLM)’이라는 설계를 채택한다. 입력 바이트를 먼저 ‘바이트 패치’(1~k 바이트) 단위로 풀링하고, 로컬 인코더가 이를 고차원 임베딩으로 변환한다. 흥미롭게도 기존 서브워드 임베딩을 잔차 형태로 바이트 임베딩에 더해, 서브워드 정보가 바이트 레벨에서도 활용되도록 설계했다. 이는 임베딩 테이블을 256개에서 수천 개로 확장해 희소성을 확보함으로써, 파라미터 효율성을 유지하면서도 표현력을 크게 높인다.

실험에서는 볼모‑7B와 볼모‑1B를 각각 Olmo‑3B·7B와 Olmo‑2·1B를 기반으로 전이시켰다. 주요 평가 항목은 (1) 표준 벤치마크(예: MMLU, BIG-bench)에서의 전반적 성능, (2) 문자‑레벨 추론(CUTE, CodeEval 등)에서의 우수성, (3) STEM·코드·생물학 시퀀스와 같은 미세 문자 정보를 요구하는 도메인에서의 향상, (4) 추론 속도와 메모리 효율성이다. 결과는 볼모가 기존 서브워드 모델과 동등하거나 약간 앞서는 성능을 보이며, 특히 문자‑레벨 작업에서는 +16.5%p 이상의 절대 향상을 기록했다. 또한 바이트 패치 크기를 늘려(예: 4바이트 → 8바이트) 연산량을 감소시켜 추론 속도를 가속화했으며, 이는 서브워드 모델에서는 불가능한 조정이다.

Ablation 연구에서는 (i) 비인과적 패치 경계 예측이 모델의 표현력에 미치는 영향, (ii) Stage 1 증류가 필수인지 여부, (iii) 로컬 인코더 설계 선택이 속도·성능 트레이드오프에 미치는 효과를 분석했다. 비인과적 경계 예측을 제거하면 성능이 소폭 감소하지만 속도는 크게 개선되었으며, Stage 1 없이 바로 End‑to‑End 학습을 진행하면 초기 수렴이 어려워 전체 성능이 크게 떨어졌다.

마지막으로, 볼모는 ‘Task Arithmetic’을 이용해 사전 학습 없이도 특정 도메인(예: 코딩, 과학 논문)으로 빠르게 파인튜닝할 수 있음을 보였다. 이는 기존 서브워드 모델의 파인튜닝 파이프라인을 그대로 재활용함으로써 추가 비용을 거의 발생시키지 않는다.

전반적으로 볼모는 바이트‑레벨 LLM이 기존 서브워드 모델과 경쟁하거나 이를 능가할 수 있음을 실증적으로 보여주며, 특히 문자‑정밀도가 중요한 과학·기술 분야에서 새로운 가능성을 열었다. 향후 연구는 (1) 더 큰 규모(>30B) 모델에 대한 전이, (2) 다국어·다스크립트 환경에서의 UTF‑8 바이트 활용, (3) 동적 패치 크기와 메모리 효율성을 동시에 최적화하는 하드웨어‑소프트웨어 공동 설계 등을 제시한다.