효율적인 음성 텍스트 공동 디코딩을 위한 새로운 패턴

초록

본 논문은 동일한 기반 언어 모델과 토크나이저, 학습 데이터를 사용해 인터리브와 병렬 디코딩 방식을 공정하게 비교한다. 인터리브 방식이 정렬 품질에서 우수하지만 시퀀스 길이 증가로 추론이 느리다. 이를 해결하기 위해 특수 토큰을 이용해 텍스트 패딩을 조기에 종료하는 Early‑Stop Interleaved(ESI) 패턴을 제안하고, 고품질 QA 데이터셋을 추가해 음성‑음성 질문응답 성능을 향상시킨다.

상세 분석

이 연구는 음성‑텍스트를 하나의 언어 모델 안에서 동시에 생성하는 Speech LM의 핵심 설계 요소인 디코딩 패러다임을 체계적으로 탐구한다. 기존 연구들은 서로 다른 모델 구조, 토크나이저, 학습 코퍼스를 사용해 인터리브, 병렬, Thinker‑Talker 등 다양한 방식을 제안했지만, 이러한 이질성 때문에 직접적인 성능 비교가 어려웠다. 논문은 Phi‑4‑MM이라는 동일한 멀티모달 LLM을 기반으로, S3Tokenizer를 이용한 동일한 음성 토큰화 방식을 적용함으로써 ‘공정 비교’를 실현한다.

실험 결과, 인터리브 방식이 텍스트와 음성 간 정렬 정확도(S2S/S2T 비율)와 WER 측면에서 가장 뛰어난 것으로 나타났다. 이는 텍스트와 음성 토큰이 교차로 입력되면서 모델이 양쪽 모달리티의 컨텍스트를 동시에 고려할 수 있기 때문이다. 그러나 인터리브는 텍스트가 소진된 뒤에도 고정된 텍스트‑음성 비율을 유지하기 위해 다량의 패딩 텍스트 토큰을 삽입한다. 이러한 불필요한 토큰은 시퀀스 길이를 약 3배까지 늘려, 어텐션 연산 비용을 급증시키고, 초기에 중요한 텍스트 정보를 희석시켜 성능 저하 위험을 내포한다.

이를 해결하기 위해 제안된 Early‑Stop Interleaved(ESI) 패턴은 텍스트 EOS 토큰 뒤에 특수 토큰 를 삽입해 “이후는 전부 음성 토큰만 생성한다”는 신호를 모델에 전달한다. 결과적으로 전체 시퀀스 길이가 약 25% 감소하고, 추론 속도가 크게 향상된다. 흥미롭게도, 패딩을 제거함에도 불구하고 정렬 정확도와 텍스트‑음성 일관성 지표가 소폭 개선되었다. 이는 패딩 토큰이 모델의 어텐션 흐름을 방해하고, 잡음으로 작용했을 가능성을 시사한다.