듀얼 해상도와 코어칵테일 학습 기반 Fun Audio Chat
📝 원문 정보
- Title:
- ArXiv ID: 2512.20156
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
최근 공동 음성‑텍스트 모델은 원활한 음성 인터랙션 가능성을 보여주었지만, 기존 모델은 세 가지 핵심 문제에 직면한다. 첫째, 음성 토큰(보통 25 Hz)과 텍스트 토큰(약 3 Hz)의 시간 해상도 불일치가 의미 정보를 희석하고 계산 비용을 크게 증가시킨다. 둘째, 대규모 멀티모달 학습 과정에서 텍스트 LLM의 지식이 소멸되는 재앙적 망각이 발생한다. 이를 해결하기 위해 본 연구는 이전 작업 DrVoice에서 제안한 두 가지 혁신을 차용한 Fun‑Audio‑Chat을 제안한다. 첫째, Dual‑Resolution Speech Representations(DRSR) 구조를 도입해 공유 LLM 백본이 5 Hz 프레임 레이트(음성 토큰 그룹화 기반)로 효율적으로 처리하고, Speech Refined Head(SRH)가 25 Hz 고해상도 음성 토큰을 생성한다. 이 듀얼 해상도 설계는 GPU 사용 시간을 약 50 % 절감하면서도 음성 생성 품질을 유지한다. 둘째, Core‑Cocktail Training 전략을 전이 학습 전 단계에 적용해 중간 모델 병합을 통해 재앙적 망각을 완화한다. Core‑Cocktail 학습 후에는 Multi‑Task DPO Training을 추가해 음성 이해, 지시 수행, 감성 표현 능력을 강화한다. Fun‑Audio‑Chat은 대규모 음성‑텍스트 사전 학습 없이 사전 학습된 모델만을 활용하고, 광범위한 사후 학습으로 음성 능력을 획득한다. 8 B Dense와 30 B‑A3 B MoE 모델은 Speech‑to‑Text 및 Speech‑to‑Speech 생성 작업에서 동급 모델 중 최고 수준의 성능을 기록했으며, 여러 구술 질문‑응답 벤치마크에서 상위 순위를 차지한다. 또한 Audio Understanding, Speech Function Calling, Speech Instruction‑Following, Voice Empathy 등 다양한 평가에서 경쟁력 있거나 우수한 결과를 보인다. 풀‑듀플렉스 버전인 Fun‑Audio‑Chat‑Duplex는 구술 질문‑응답 및 양방향 대화에서 강력한 성능을 나타낸다. 우리는 Fun‑Audio‑Chat‑8B 모델 체크포인트와 학습·추론 코드를 오픈소스로 제공하고, 인터랙티브 데모를 공개한다.💡 논문 핵심 해설 (Deep Analysis)
본 논문은 현재 LALM(Large Audio Language Model) 분야에서 가장 시급히 해결해야 할 두 가지 문제, 즉 “시간 해상도 불일치”와 “재앙적 망각”을 동시에 겨냥한 혁신적인 접근법을 제시한다. 기존 모델은 음성 토큰을 25 Hz, 텍스트 토큰을 3 Hz 수준으로 처리하면서 두 스트림을 직접 맞추려 한다. 이 과정에서 텍스트 기반 LLM이 보유한 방대한 세계 지식이 음성 입력에 의해 희석되고, 고해상도 음성 토큰을 그대로 처리하려다 보니 연산량이 급증해 실용적인 배포가 어려워진다. 저자들은 이러한 병목을 ‘Dual‑Resolution Speech Representations(DRSR)’라는 구조로 해결한다. 핵심 아이디어는 고해상도(25 Hz) 음성 정보를 저해상도(5 Hz) 프레임으로 압축해 공유 LLM에 입력하고, 별도의 ‘Speech Refined Head(SRH)’가 압축된 정보를 다시 고해상도로 복원해 음성 토큰을 생성한다는 것이다. 이때 5 Hz는 기존 텍스트 토큰 속도와 근접해 LLM이 기존 텍스트 지식을 그대로 활용할 수 있게 하면서도, 토큰 수를 5배 정도 감소시켜 GPU 메모리와 연산 시간을 크게 절감한다. 실험 결과는 GPU 사용 시간이 거의 50 % 감소했음에도 불구하고, 음성 합성 품질(Speech‑to‑Speech)과 인식 정확도(Speech‑to‑Text) 모두 기존 고해상도 전용 모델과 동등하거나 우수함을 보여준다.두 번째 혁신은 ‘Core‑Cocktail Training’이다. 멀티모달 파인튜닝 과정에서 텍스트 LLM이 학습한 지식이 급격히 사라지는 현상은 다중 작업 학습에서 흔히 목격되는 재앙적 망각(catastrophic forgetting)이다. 저자들은 두 단계(코어 학습 + 칵테일 병합)로 구성된 훈련 파이프라인을 설계한다. 먼저, 텍스트‑전용 코어 모델을 충분히 학습시킨 뒤, 동일한 파라미터를 공유하는 음성‑전용 모델을 별도로 학습한다. 이후 두 모델을 가중치 수준에서 ‘칵테일’ 방식으로 병합해 하나의 통합 모델을 만든다. 이 과정은 텍스트 지식과 음성 지식이 서로 보완하도록 하면서도, 어느 한쪽이 다른 쪽을 압도해 버리는 현상을 방지한다. 이어지는 ‘Multi‑Task DPO(Direct Preference Optimization) Training’은 인간 피드백 기반의 선호 최적화를 여러 음성 관련 태스크(음성 이해, 기능 호출, 지시 수행, 감성 표현 등)에 동시에 적용해 모델의 전반적인 대화 능력을 강화한다. 결과적으로 Fun‑Audio‑Chat은 텍스트 LLM이 갖춘 방대한 세계 지식과 고품질 음성 처리 능력을 동시에 보유한다.
또 눈여겨볼 점은 사전 학습 단계에서 대규모 음성‑텍스트 데이터셋을 거의 사용하지 않았다는 점이다. 대부분의 최신 LALM은 수십억 개의 음성‑텍스트 쌍을 사전 학습에 투입해 기본적인 음성 인식을 학습한다. 반면 Fun‑Audio‑Chat은 기존에 공개된 대형 텍스트 LLM과 음성 인코더/디코더만을 활용하고, 이후 광범위한 사후 학습으로 음성 능력을 ‘추가’한다. 이는 데이터 수집 비용과 윤리적 문제를 크게 낮추면서도, 모델 규모(8 B, 30 B‑A3 B) 대비 뛰어난 성능을 달성한다는 점에서 실용적 의의를 가진다.
마지막으로, 풀‑듀플렉스 버전인 Fun‑Audio‑Chat‑Duplex는 양방향 음성 스트림을 동시에 처리할 수 있어, 실시간 대화형 AI 비서나 콜센터 자동화 등 실제 서비스 시나리오에 바로 적용 가능하다. 전체적으로 본 연구는 ‘효율성 + 지식 보존 + 고품질 음성 생성’이라는 세 축을 균형 있게 만족시키는 설계 철학을 제시하며, 차세대 멀티모달 언어 모델 개발에 중요한 로드맵을 제공한다.