노이즈가 섞인 실세계 데이터에 최적화된 품질 인식 토크나이저

초록

QA‑Token은 서열·시계열 데이터의 품질 점수를 토크나이저 어휘 구성에 직접 반영한다. 이중 최적화와 강화학습, Gumbel‑Softmax 기반 파라미터 학습을 결합해 어휘와 downstream 성능을 동시에 최적화한다. 유전체 변이 검출에서 F1 +6.7 %p, 금융 시계열에서는 샤프 비율 +30 % 등 실험적으로 큰 개선을 보이며, 1.7 조 베이스페어 규모의 사전학습에서도 토큰 수 ‑15 %와 병원체 검출 MCC 94.53 %를 달성한다.

상세 분석

본 논문은 기존 BPE·SentencePiece와 같은 빈도 기반 토크나이저가 데이터 품질을 무시함으로써 노이즈가 많은 실세계 코퍼스에서 성능 저하를 초래한다는 문제를 지적한다. 이를 해결하기 위해 저자들은 품질‑인식 토크나이저(QA‑Token)를 제안한다. 핵심은 (1) 어휘 구성과 downstream 모델 성능을 동시에 고려하는 이중 최적화(bilevel optimization) 프레임워크를 수학적으로 정의하고, 이 문제가 NP‑hard임을 증명한 뒤, 근사 알고리즘을 설계한 점이다. (2) 어휘 구축 과정을 마코프 결정 과정(MDP)으로 모델링하고, 품질‑가중 보상을 이용한 강화학습(PPO)으로 merge 정책을 학습한다. 여기서 보상 함수는 품질, 정보량, 복잡도, 도메인 제약을 모두 포함하며, 정규화된 EMA 기법을 통해 스케일 불변성을 확보한다. (3) Gumbel‑Softmax 이완을 이용해 품질 민감도 α와 도메인 가중치 등 연속 파라미터를 미분 가능하게 만들고, 두 단계(강화학습 → 파라미터 적응)로 최적화를 진행한다. 두‑시간 스케일(stochastic approximation) 분석을 통해 정책 파라미터와 적응 파라미터가 각각 빠른·느린 시간축에서 수렴함을 보이며, (1‑1/e) 근사 비율을 갖는 적응 서브모듈러리티 보장을 제시한다. 품질 메트릭은 유전체에서는 Phred 점수에 위치 기반 감쇠를 적용한 기하 평균, 금융에서는 유동성·신호‑대‑노이즈·안정성·정보량 네 가지 지표의 가중합으로 정의한다. 이 메트릭은 유계성, Lipschitz 연속성, 노이즈 증가 시 단조 감소라는 세 가지 수학적 성질을 만족한다. 실험에서는 150 bp 시뮬레이션 리드와 실제 GIAB 데이터, 그리고 고빈도 금융 시계열을 대상으로 QA‑BPE‑seq과 QA‑BPE‑fin을 적용했다. 변이 호출에서는 BPE 대비 F1 0.891 vs 0.824(Δ +6.7 pp)이며, 토큰 재구성 시간도 24 % 감소한다. 금융에서는 샤프 비율이 30 % 향상되고, 토큰당 정보량이 증가한다. 대규모 사전학습(1.7 조 베이스페어)에서는 토큰 수를 15 % 절감하면서 병원체 검출 MCC 0.9453을 달성, 기존 최첨단보다 우수한 성능을 보인다. 전반적으로 품질‑인식 토크나이저는 노이즈가 심한 대규모 데이터셋을 효율적으로 활용할 수 있게 하며, 토크나이저 자체에 추가적인 추론 비용을 부과하지 않는다는 점에서 실용성이 높다.