동적 문자 정렬 음성 토큰화

초록

DyCAST는 문자 수준의 부드러운 정렬과 명시적 지속 시간 모델링을 통해 가변 프레임 레이트 토큰화를 구현한다. 학습 시 고정된 문자 정렬 정보를 이용해 경계 예측기를 학습하고, 추론 시에는 텍스트 없이도 토큰 길이를 조절할 수 있다. 또한 검색 기반 디코딩을 도입해 저프레임 레이트에서도 높은 재생 품질을 유지한다. 실험 결과, 기존 고정 프레임 코덱 대비 토큰 수를 크게 줄이면서도 음성 재생 및 다운스트림 태스크에서 경쟁력 있는 성능을 보였다.

상세 분석

DyCAST의 핵심 아이디어는 “문자‑레벨 정렬”을 토큰화 과정에 직접 삽입함으로써, 음성 신호의 시간적 변동성을 언어적 단위와 일치시키는 것이다. 이를 위해 저자들은 사전 학습된 CTC 기반 ASR 모델을 “고정 문자 정렬기”로 활용해, 각 프레임에 대응하는 문자 경계를 얻는다. 이 경계는 위험(hazard) 모델 형태의 경계 예측기에 대한 지도 신호로 사용된다. 위험 모델은 각 프레임에서 다음 경계가 발생할 확률을 출력하고, 이를 통해 연속적인 프레임을 가변 길이 청크로 묶는다. 청크 경계는 최소·최대 청크 길이와 임계값 τ_h 로 제어되며, greedy 혹은 샘플링 방식으로 디코딩될 수 있다.

청크 내부에서는 마지막 프레임을 선택하는 “다운샘플러”를 사용해 청크 레벨 표현을 얻고, 이를 양자화하여 토큰 시퀀스를 만든다. 디코딩 단계에서는 토큰당 지속 시간을 예측하는 “지속 시간 예측기”가 필요하다. 저자들은 음성 지속 시간이 과분산 특성을 보인다는 점에 착안해, 부정 이항(Negative Binomial) 분포를 채택했다. 토큰의 자유 평균 지속 시간 μ_free 은 softplus(·) 로 양수화하고, 전역 분산 파라미터 α 로 과분산을 모델링한다. 최소 지속 시간 d_min (기본 1)을 더해 최종 지속 시간 μ_i 를 얻고, 부정 이항 로그우도와 전체 길이 정규화 항을 결합한 손실 함수 L_dur 로 학습한다.

DyCAST는 저프레임 레이트(6–18 Hz)에서도 음성 재생 품질을 유지하기 위해 “검색 기반 디코딩(Retrieval‑Augmented Decoding, RAD)”을 도입한다. 디코딩 시 토큰 레벨 연속 잠재벡터를 미리 구축된 라티스(pool)와 유사도 검색을 통해 보정함으로써, 손실된 고주파 성분이나 화자 특성을 보완한다. 이 과정은 비트레이트를 증가시키지 않으며, 단순히 외부 메모리 조회만 추가한다.

실험에서는 LibriSpeech와 VCTK 등 공개 데이터셋을 사용해 음성 재생 품질(MOS, PESQ)과 자동 음성 인식(WER) 성능을 평가했다. 동일 비트레이트 조건에서 DyCAST는 기존 고정 프레임 코덱 대비 토큰 수를 30 % 이상 절감하면서도 MOS 4.2 수준을 유지했고, 텍스트‑음성 정렬이 필요한 TTS 및 음성‑텍스트 멀티모달 LLM 입력에서도 경쟁력 있는 결과를 보였다. 또한, 토큰 길이 조절 파라미터 τ_h 를 변화시켜 프레임 레이트와 품질 사이의 트레이드오프를 유연하게 탐색할 수 있었다.

전체적으로 DyCAST는 (1) 문자 수준 정렬을 통한 의미 기반 청크 생성, (2) 위험 모델 기반의 안정적인 경계 예측, (3) 부정 이항 지속 시간 모델을 통한 과분산 특성 반영, (4) 검색 기반 디코딩으로 저프레임 레이트에서도 고품질 재생을 가능하게 하는 네 가지 주요 기술적 기여를 제공한다. 이러한 설계는 LLM 기반 멀티모달 시스템에서 토큰 효율성을 크게 향상시키며, 텍스트 없이도 정렬 정보를 활용할 수 있다는 점에서 실용적이다.