단일 스트림 음성 언어 모델 WavSLM

초록

WavSLM은 WavLM의 중간 레이어 표현을 단일 코드북으로 양자화하고, 이를 이용해 다음 청크를 예측하는 자동회귀 방식으로 학습된 음성 전용 언어 모델이다. 텍스트 감독이나 텍스트 사전학습 없이도 의미와 음향 정보를 동시에 모델링하며, 300 M 수준의 파라미터와 60 k시간 정도의 음성 데이터만으로 대규모 텍스트 기반 모델에 필적하는 성능을 보인다. 스트리밍 추론이 가능하고, 학습·추론 효율성이 뛰어나다.

상세 분석

WavSLM은 기존 음성 언어 모델이 텍스트와의 혼합 학습, 다중 토큰 스트림, 혹은 복합 하이브리드 구조에 의존하던 문제점을 근본적으로 재설계한다. 핵심 아이디어는 WavLM‑large 모델의 6번째 트랜스포머 레이어에서 추출한 중간 수준 표현을 그대로 활용한다는 점이다. 이 레이어는 저‑레벨 음향 특징과 고‑레벨 의미 정보를 모두 포함하고 있어, 별도의 텍스트 라벨 없이도 의미적 일관성과 화자·성별·감정 등 파라미터를 보존한다.

양자화 단계에서는 FocalCodec‑Stream이라는 스트리밍 가능한 신경 코덱을 적용한다. 코덱은 WavLM‑6 특징을 압축·양자화하고, 50 Hz(20 ms) 해상도의 단일 토큰 스트림을 생성한다. 양자화된 토큰은 4개의 토큰(≈80 ms) 단위 청크로 묶여, 다음 청크를 예측하는 목표 함수에 사용된다. 이렇게 청크 단위 예측을 도입하면 토큰‑단위 예측보다 연산량이 크게 감소하면서도 높은 시간 해상도를 유지할 수 있다.

모델 본체는 WavLM의 상위 레이어(7‑24)를 인과적(attention mask)으로 전환하고, 경량 선형 헤드를 추가해 다음 청크의 토큰 분포를 출력한다. 사전 학습된 WavLM 가중치를 그대로 초기화함으로써, 텍스트 사전학습 없이도 언어적 구조가 음성 데이터만으로 학습된다. 또한 슬라이딩 윈도우 어텐션을 적용해 고정된 컨텍스트 길이만을 참조하도록 설계했으며, 이는 메모리 사용량을 일정하게 유지하면서 실시간 스트리밍 생성이 가능하도록 만든다.

실험에서는 Libri‑Light(≈60 k시간)에서 30 초 길이 샘플을 무작위 추출해 학습했으며, 3가지 코드북 크기(2k, 4k, 65k)와 다양한 윈도우·청크 설정을 비교했다. 결과적으로 4k 코드북을 사용한 WavSLM‑4k(≈307 M 파라미터)가 가장 높은 평균 점수를 기록했으며, 1.3 B~8 B 파라미터 규모의 텍스트‑기반 대형 모델들과 경쟁한다. 특히 sWUGGY·sBLiMP와 같은 의미 평가, SALMon의 화자·성별·감정 일관성, 그리고 Topic Story‑Cloze(tSC)와 같은 담화 일관성에서도 데이터‑매치된 베이스라인을 능가하거나 동등한 성능을 보였다.

효율성 측면에서는 PPL(Perplexity)과 RTF(실시간 팩터)에서도 LLaMA‑Mimi(8 B)와 비슷하거나 약간 높은 값을 보였지만, 파라미터 수와 학습 데이터 양이 10배 이상 적음에도 불구하고 전반적인 품질이 유지되는 점이 주목할 만하다. 이는 “표현 자체가 충분히 풍부하면 규모 확대 없이도 고성능을 달성할 수 있다”는 가설을 실증한다는 의미다.

요약하면, WavSLM은 (1) 중간 레이어의 풍부한 표현을 단일 코드북으로 양자화, (2) 청크‑단위 자동회귀 목표로 효율적인 학습, (3) 스트리밍 친화적 설계로 실시간 생성 가능, (4) 텍스트 감독 없이도 의미·음향 양측을 동시에 모델링한다는 네 가지 핵심 기여를 제공한다. 앞으로 더 큰 음성 데이터와 다국어 확장, 그리고 텍스트‑음성 멀티모달 통합에 대한 연구가 이어질 것으로 기대된다.