텍스트만으로 도메인 적응하는 저자원 음성 LLM 방법

초록

본 논문은 음성‑LLM을 대상 도메인의 텍스트만으로 미세조정하여, 추가 음성 데이터 없이도 도메인 적응을 가능하게 하는 방법을 제안한다. 실시간 정렬 평가 메커니즘을 도입해 텍스트‑전용 학습 중에도 음성‑텍스트 정렬을 유지하고, LibriSpeech, SlideSpeech, Medical 데이터셋에서 기존 음성‑텍스트 미세조정 대비 성능 저하를 최소화하면서도 새로운 도메인에 대한 일반화 능력을 향상시켰다.

상세 분석

이 연구는 기존 Speech‑LLM이 대규모 음성‑텍스트 쌍에 의존해 도메인 적응을 수행한다는 한계를 정확히 짚어낸다. 저자들은 두 단계 학습 프레임워크를 설계했는데, 첫 단계는 일반 도메인(예: LibriSpeech)에서 음성 인코더와 프로젝터, 그리고 LLM 디코더를 교차 모달 정렬시키는 사전 학습이다. 여기서는 Whisper‑large‑v3 인코더와 Qwen2.5‑7B‑Instruct 디코더를 사용하고, LoRA( rank 64, α 16) 를 LLM 디코더에 삽입해 파라미터 효율성을 확보한다.

두 번째 단계가 핵심이다. 대상 도메인의 텍스트만을 이용해 LoRA 파라미터를 미세조정한다. 일반적인 텍스트‑전용 파인튜닝은 언어 모델 손실(LM Loss)만 최소화하고, 음성‑텍스트 정렬을 무시한다는 점을 지적하고, 이를 보완하기 위해 “실시간 정렬 평가”를 도입한다. 구체적으로, 매 학습 스텝마다 LoRA를 업데이트한 뒤, 인코더·프로젝터·기본 LLM 파라미터는 고정한 채로 소량의 음성‑텍스트 페어(예: 검증용)에서 인식 손실을 계산한다. 이 손실이 급격히 상승하면 학습률을 조정하거나 조기 종료하는 등 정렬 유지 메커니즘을 작동시킨다. 결과적으로 텍스트‑전용 미세조정이 언어 모델의 도메인 특화 능력을 강화하면서도, 기존 음성‑텍스트 매핑을 손상시키지 않는다.

실험 설계는 세 가지 베이스라인을 비교한다. 1) 텍스트‑전용 파인튜닝(LoRA만), 2) 전체 Speech‑LLM 파인튜닝(음성‑텍스트 쌍 전체), 3) 텍스트‑후‑음성 파인튜닝(텍스트 파인튜닝 후 음성 파인튜닝). 평가 지표는 WER이며, LibriSpeech(소스), SlideSpeech(온라인 회의), Medical(의료) 세 도메인에서 수행했다. 텍스트‑전용 파인튜닝은 음성‑텍스트 파인튜닝에 비해 WER 상승폭이 0.3%~0.6%에 불과했으며, 특히 저자원 의료 도메인(8시간)에서 기존 파인튜닝 대비 1.2% 개선을 기록했다. 또한 GigaSpeech 대규모 평가에서 일반화 손실이 거의 없음을 확인했다.

기술적 기여는 크게 세 가지이다. 첫째, Speech‑LLM에 텍스트‑전용 도메인 적응이라는 새로운 패러다임을 제시했다. 둘째, 실시간 정렬 평가라는 간단하면서도 효과적인 메커니즘을 도입해 교차 모달 정렬을 유지했다. 셋째, LoRA 기반 경량 파라미터 튜닝을 활용해 학습 비용을 크게 낮추면서도 성능을 유지/향상시켰다. 이 접근법은 TTS 기반 합성 음성 파이프라인이 갖는 자연스러움 부족·고비용 문제를 회피하고, 도메인 별 텍스트 데이터만으로도 충분히 적응이 가능함을 실증한다. 향후 연구는 멀티‑모달 정렬 평가를 더 정교화하고, 다양한 LLM 아키텍처와 저자원 언어에 대한 확장성을 검증하는 방향으로 진행될 수 있다.