동적 프레임 레이트로 신경 음성 코덱의 시간 중복 압축

초록

CodecSlime은 기존 고정 프레임 레이트(Fixed‑Frame‑Rate) 음성 코덱의 비효율성을 해소하기 위해 동적 프레임 레이트(Dynamic Frame Rate)를 적용하는 플러그인 방식 방법이다. 핵심은 인퍼런스 단계에서 유사 프레임을 병합하는 ScheDFR과, 모델을 DFR에 적합하도록 사전‑학습·미세조정하는 Melt‑and‑Cool 두 단계이다. 40 Hz DFR(≈600 bps) 환경에서 기존 FFR 대비 WER를 최대 32 % 감소시켰으며, 하나의 모델로 다양한 프레임 레이트를 지원한다.

상세 분석

CodecSlime은 신경 기반 음성 코덱이 시간적으로 균일하지 않은 정보 밀도를 가진 음성 신호를 비효율적으로 처리한다는 근본적인 문제를 짚고 있다. 기존의 고정 프레임 레이트(FFR) 코덱은 모든 10 ms 구간에 동일한 토큰 수를 할당하므로, 장시간 모음이나 무음 구간에서 토큰이 낭비된다. 이를 해결하기 위해 저자는 두 가지 핵심 기술을 제안한다. 첫 번째인 ScheDFR(Schedulable Dynamic Frame Rate)은 인코더 출력 특징 맵을 입력으로 받아, 동적 프로그래밍(DP) 기반 스케줄러를 통해 “유사 프레임”을 자동으로 병합한다. 병합된 프레임은 내용(feature)과 지속시간(duration)을 분리해 저장하므로, 동일한 비트레이트 내에서 더 많은 정보량을 전달할 수 있다. 이때 최적화 목표는 다운샘플링 전후 특징 벡터의 L2 거리(음성 품질을 근사)이며, DP 식(3)을 통해 전역 최적 해를 효율적으로 구한다. 두 번째인 Melt‑and‑Cool은 모델이 DFR 환경에 적응하도록 두 단계 학습을 진행한다. Melt 단계에서는 사전 학습된 FFR 모델에 무작위 다운샘플링을 적용해 다양한 병합 패턴에 대한 강인성을 부여한다. 여기서 다운샘플링 강도는 “Melt manager”가 점진적으로 증가시켜, 모델이 점점 더 높은 압축률을 경험하도록 설계되었다. Cool 단계에서는 앞서 정의한 ScheDFR 스케줄러를 실시간으로 적용하면서, 인코더는 고정하고 양자화기와 디코더만 미세조정한다. 이렇게 하면 모델은 최적의 병합 스키마에 특화되면서도 Melt 단계에서 얻은 일반화 능력을 유지한다.
구현 측면에서 저자는 VQ‑GAN 기반의 BigCodec을 백본으로 사용했으며, VQ와 FSQ 두 종류의 양자화기를 모두 실험했다. 실험은 LibriSpeech 960 h를 학습 데이터로, UniCATs‑B 테스트셋을 평가에 사용했다. 주요 평가지표는 WER, STOI, PESQ, ViSQOL, SECS, UTMOS, 그리고 주관적 MUSHRA 점수이다. 80 Hz FFR 백본을 40 Hz DFR로 압축했을 때, VQ‑8k 설정에서는 WER 4.25 %를 달성해 동일 비트레이트의 FFR 모델(5.59 %)보다 32 % 상대 개선을 보였다. FSQ‑18k에서도 WER 3.80 %로 가장 낮은 오류율을 기록했으며, 고용량 FSQ‑84k와 비교해도 비슷하거나 더 나은 성능을 유지했다. 특히 동일 총 비트레이트(콘텐츠 + 지속시간) 조건에서도 CodecSlime은 FFR 대비 8 % 이하의 WER 감소를 보이며, 주관적 청취 테스트에서도 유의미한 선호도를 얻었다.
이러한 결과는 (1) 동적 프레임 레이트가 실제 음성의 시간적 중복을 효과적으로 제거한다, (2) Melt‑and‑Cool가 기존 FFR 모델을 크게 재설계하지 않고도 DFR에 적응시킬 수 있다, (3) 제안 방법이 양자화기 종류와 무관하게 백본‑아그노스틱하게 적용 가능함을 입증한다. 다만 현재는 다운샘플링 스케줄링을 특징 공간 L2 거리로 근사했으며, 실제 청각적 왜곡을 직접 최적화하지는 않는다. 또한, 스케줄러의 최대 병합 길이 U가 고정돼 있어 매우 긴 지속음(예: 긴 노래 구절)에서는 최적 압축률을 놓칠 가능성이 있다. 향후 연구에서는 perceptual loss 기반의 스케줄링, 멀티‑코드북 구조와의 결합, 그리고 실시간 스트리밍 환경에서의 지연 최소화 등을 탐색할 여지가 있다.