STACodec: 의미 토큰 할당으로 음향 품질과 의미 정보를 동시에 잡다

초록

STACodec은 첫 번째 잔차 벡터 양자화 층에 SSL 기반 의미 토큰을 직접 할당해 음향 복원 성능을 크게 떨어뜨리지 않으면서도 의미 정보를 보존한다. 또한, Semantic Pre‑Distillation(SPD) 모듈을 도입해 추론 시 별도 SSL 토크나이저 없이 의미 토큰을 예측하도록 함으로써 파라미터와 연산량을 절감한다. 실험 결과, 기존 하이브리드 코덱 대비 PESQ·ViSQOL·ASR‑WER·Intent‑Accuracy 등 모든 평가 지표에서 우수한 성능을 보였다.

상세 분석

STACodec의 핵심 아이디어는 “Semantic Token Assignment”(STA)이다. 기존 하이브리드 코덱은 첫 번째 RVQ 층에 의미 손실을 최소화하기 위해 직접적인 distillation loss를 적용했지만, 이는 코드북을 의미 목표에 과도하게 끌어당겨 음향 세부 정보를 손상시켰다. STA는 의미 토큰을 “코드 인덱스” 자체로 사용한다. 즉, 시간 t에서 첫 번째 RVQ 층의 인덱스 c₁,t 를 사전 학습된 K‑means 토큰 cₛ,t 로 고정함으로써 의미와 음향 양쪽을 동시에 표현할 수 있는 자유 공간을 유지한다. 이후 잔차는 기존과 동일하게 다중 코드북에 걸쳐 양자화된다. 이 설계는 첫 번째 층이 의미 정보를 완전히 담당하도록 하면서도, 나머지 층이 잔차를 보정해 고해상도 음향 재구성을 가능하게 한다.

SPD 모듈은 실시간 추론 시 SSL 모델을 호출하지 않도록 설계되었다. 입력 음향 특징 e에 시간·특징 차원의 span‑masking을 적용해 과적합을 방지하고, Transformer 기반 네트워크가 마스크된 특징으로부터 의미 토큰 ˆcₛ 를 예측한다. 예측된 토큰은 STA와 동일한 방식으로 RVQ‑1에 할당된다. 이 사전 distillation 방식은 양자화 직전 단계에서 의미 정보를 주입하므로, 디코더에 전달되는 잔차가 의미 손실에 의해 왜곡되는 현상을 크게 감소시킨다.

학습 목표는 기존 EnCodec과 동일한 재구성·퍼셉추얼·커밋먼트 손실 L_codec 에, SPD의 교차 엔트로피 L_spd 를 가중치 λ=5 로 추가한 L_total = L_codec + λ·L_spd 로 구성한다. 두 단계 학습(먼저 L_codec만, 이후 L_spd 포함)으로 안정적인 수렴을 확보한다.

실험에서는 LibriSpeech 960h를 사용해 4 kbps 비트레이트 환경에서 비교했다. 의미 토크나이저는 HuBERT‑base와 WavLM‑large 두 종류를 K‑means(1000~1024 클러스터)로 만든다. 결과는 다음과 같다.

• PESQ 3.61 (HuBERT) → 3.62* (WavLM) 로 기존 X‑Codec(2.79) 대비 30% 이상 향상.
• ViSQOL 4.50 → 4.51* 로 최고 수준.
• ASR‑WER 10.94% → 9.35% (WavLM) 로 기존 HASRD(11.30%)보다 크게 개선.
• Intent Classification 정확도 70.81% → 74.21%* 로 의미 전달 능력도 크게 상승.

코드북 활용도 분석에서도 STACodec은 2~8 층 전반에 걸쳐 고른 활용률을 보이며, 기존 방법이 첫 층에만 의미를 집중시키고 나머지 층을 거의 사용하지 않는 현상을 극복한다. 이는 의미와 음향 정보를 각각 최적의 코드북에 배분함으로써 전체 표현 효율을 높인 결과이다.

SPD를 적용한 STACodec‑SPD는 추론 시 파라미터 250 M 감소, 연산량 30 GFLOPs 절감 효과를 보이며, 재구성 품질(PESQ 3.51, ViSQOL 4.43)과 의미 성능(ASR‑WER 15.39%, IC‑Acc 64.31%) 사이의 균형을 유지한다. 이는 실시간 음성 인터페이스나 저전력 디바이스에 특히 유용하다.

전체적으로 STACodec은 “첫 층에 의미 토큰을 직접 할당하고, 사전 distillation으로 추론 효율을 높인다”는 두 가지 혁신을 통해 기존 하이브리드 코덱이 겪던 음향‑의미 트레이드오프를 효과적으로 해소한다.