UTF 16 BBPE로 다국어 음성 인식의 효율성 높이다

초록

삼성 연구진은 다국어 자동 음성 인식(ASR)의 핵심 과제인 효율적인 토큰화를 위해 BBPE16을 제안한다. 기존 UTF-8 기반 BBPE는 비라틴 문자(중국어, 일본어, 한국어 등)에서 가변 길이 인코딩으로 인해 토큰 시퀀스가 불필요하게 길어지는 문제가 있다. BBPE16은 UTF-16 기반으로, 대부분의 현대 문자를 균일한 2바이트 코드 유닛으로 표현하여 이 문제를 해결한다. 단일언어, 이중언어, 삼중언어 ASR 및 지속 학습 설정에서 BBPE16은 기존 방식과 동등하거나 더 나은 인식 정확도를 유지하면서, 특히 중국어에서 최대 10.4%의 토큰 수 감소와 10.3%의 디코딩 반복 횟수 감소를 달성했다. 이는 훈련과 추론 속도를 높이고 메모리 사용량을 줄여, 다국어 ASR을 위한 실용적인 토큰화 선택지가 된다.

상세 분석

본 논문이 제안하는 BBPE16의 핵심 기술적 통찰은 다국어 환경에서의 ‘토큰 효율성’과 ‘교차 언어 토큰 공유’를 극대화하는 데 있다. 기존 UTF-8 BBPE의 근본적인 한계는 인코딩 방식 자체에 기인한다. UTF-8은 ASCII 호환성과 오류 복원력으로 사실상의 표준이 되었지만, 한 글자를 표현하는 데 1~4바이트의 가변 길이를 사용한다. 특히 CJK(중국어, 일본어, 한국어) 문자는 3바이트 이상을 필요로 하여, 토큰 시퀀스가 길어지고 이는 곧 계산 부하와 메모리 사용량 증가로 이어진다. 또한, 이러한 가변성은 언어 간 토큰 경계를 불규칙하게 만들어 효율적인 토큰 공유를 방해한다.

BBPE16은 이 문제를 UTF-16의 ‘균일한 2바이트 표현’ 특성을 활용해 우아하게 해결한다. UTF-16은 Basic Multilingual Plane(BMP)에 속하는 대부분의 현대 문자(라틴, 한글, 한자, 아랍어 등)를 하나의 16비트(2바이트) 코드 유닛으로 표현한다. 이는 인코딩에 필요한 바이트 수를 문자마다 동일하게 만들어, BPE 병합 알고리즘이 보다 예측 가능하고 균일한 바이트 시퀀스 위에서 동작할 수 있게 한다. 논문의 실험 결과가 보여주듯, 이로 인해 중국어 텍스트의 평균 토큰 수가 BBPE 대비 최대 10.4%까지 감소하는 등 압축 효율이 크게 향상되었다.

더욱 중요한 점은 ‘교차 언어 토큰 공유’의 비약적 증가다. 삼중언어(영어, 한국어, 중국어) 토크나이저 실험에서 BBPE는 영어-한국어, 중국어-영어, 그리고 세 언어 모두에게 공통된 토큰을 전혀 생성하지 못한 반면, BBPE16은 각각 42개, 55개, 42개의 공유 토큰을 만들어냈다. 한국어-중국어 쌍에서는 95개에서 573개로 공유 토큰 수가 크게 증가했다. 이는 모델의 임베딩 공간을 훨씬 더 효율적으로 활용하고, 다양한 언어의 데이터가 서로의 표현 학습에 기여할 수 있도록 함을 의미한다. 이는 대규모 다국어 모델의 학습 안정성과 일반화 성능 향상에 직접적으로 기여할 수 있는 핵심 메리트다.

BBPE16은 기존 인프라와의 호환성도 고려했다. 입력과 출력은 여전히 UTF-8 텍스트를 사용하며, 토크나이저 내부 처리 과정에서만 UTF-16 바이트 시퀀스를 다룬다. 따라서 기존 UTF-8 BBPE를 사용하는 시스템에서 비교적 쉽게 도입 가능한 ‘드롭인 대체재’ 역할을 할 수 있다. 지속 학습 시나리오에서의 성능 유지 또한 실용성을 입증한다. 초기 삼중언어 모델에 새로운 도메인의 데이터(WSJ, Zeroth-Korean, Common Voice Chinese)를 추가로 학습시켰을 때, BBPE16은 BBPE와 동등하거나 일부 더 나은 인식 성능을 보였으며, 토큰 효율성의 이점은 그대로 유지되었다. 이는 BBPE16이 고정된 다국어 모델을 넘어, 지속적으로 새로운 언어와 도메인을 흡수해야 하는 현실적인 ASR 시스템에 매우 적합한 솔루션임을 시사한다.