확산 기반 고압축 음성 토크나이저 SiTok

초록

SiTok은 확산 오토인코더와 CTC 기반 의미 정규화를 결합한 대규모 음성 토크나이저이다. 1.6 B 파라미터와 2 백만 시간의 데이터로 학습했으며, 12.5 Hz 토큰 레이트와 200 bps 비트레이트에서 의미 풍부한 표현과 고품질 재구성을 동시에 달성한다.

상세 분석

본 논문은 기존 음성 토크나이저가 직면한 “압축‑재구성‑의미” 삼중 목표의 상충 문제를 근본적으로 재설계한다. 핵심 아이디어는 확산 모델을 이용해 양방향 확률 흐름을 학습함으로써, 양자화 과정에서 발생하는 불확실성을 확산 디코더가 직접 모델링하도록 하는 것이다. 이를 위해 저자들은 먼저 멜‑스펙트로그램을 입력·출력으로 사용하는 인코더‑디코더 구조를 채택하고, 인코더 출력은 32‑차원, 65 536개의 코드북을 가진 벡터 양자화(VQ) 단계로 압축한다. 양자화된 임베딩은 이후 확산 디코더에 조건으로 제공되며, 디코더는 시간‑조건부 흐름 매칭 손실을 통해 노이즈가 섞인 샘플을 원본 스펙트로그램으로 복원한다.

의미 정규화는 별도의 경량 CTC 디코더를 도입해 구현한다. 양자화된 임베딩을 입력으로 받아 텍스트 전사와의 CTC 손실을 최소화함으로써, 토큰 자체가 언어적 구조를 내재하도록 강제한다. 이는 기존의 자기지도 특징 정렬 방식과 달리 직접적인 언어 슈퍼비전을 제공하므로, 재구성 중심 토크나이저가 흔히 보이는 높은 WER 문제를 크게 완화한다.

확산 기반 디코딩은 일반적으로 수백 단계가 필요해 실시간 적용에 부적합하다는 단점이 있다. 저자들은 “Shortcut Fine‑tuning”과 “Light‑weight Diffusion Head” 두 가지 가속 전략을 제안한다. 전자는 디코더를 고정된 단계 크기 d와 함께 학습시켜, 큰 스텝을 한 번에 수행하도록 만든다. 손실은 흐름‑매칭과 자체 일관성 두 부분으로 구성돼, 한 번의 전방 패스로 다중 스텝 효과를 재현한다. 후자는 디코더를 메인 바디와 경량 헤드로 분리해, 반복 단계마다 헤드만 재사용함으로써 연산량을 크게 줄인다. 실험 결과, 2~4 스텝으로도 기존 100 스텝 대비 동일 수준의 재구성 품질을 유지한다는 것이 입증되었다.

스케일링 측면에서 저자들은 1.6 B 파라미터 Llama‑스타일 트랜스포머를 사용하고, 2 백만 시간(≈2 백만 시간) 규모의 다언어 음성 데이터를 전처리 없이 그대로 학습한다. 코드북 차원·크기, 모델 깊이, 디코더 레이어 수 등에 대한 광범위한 Ablation을 수행해, 12.5 Hz 토큰 레이트와 0.2 kbps 비트레이트에서도 의미‑재구성‑압축 삼각형을 모두 만족함을 보였다.

평가에서는 자동 음성 인식(ASR) WER, 화자 유사도(SIM), UTMOS 기반 음질, 감정 인식, 키워드 스포팅, 화자 검증 등 다양한 다운스트림 과업을 사용했다. SiTok은 기존 R‑VQ 기반 토크나이저와 비교해 WER을 평균 30 % 이상 감소시키고, 화자 유사도와 음질에서도 유의미한 향상을 기록했다. 또한, 동일 토큰 레이트에서 제로샷 TTS(텍스트‑투‑스피치) 생성 실험을 통해 고품질 음성 합성을 가능하게 함을 시연했다.

결론적으로, 확산 오토인코더와 의미‑정규화 CTC를 결합한 SiTok은 “극단적 압축·고품질 재구성·의미 풍부 표현”이라는 세 가지 목표를 동시에 달성한 최초의 대규모 음성 토크나이저이며, 향후 통합 음성‑언어 모델링에 중요한 기반이 될 것으로 기대된다.