MiLorE‑SSL: 적은 파라미터로 다국어 SSL 모델을 지속 학습하는 혁신적 프레임워크

초록

MiLorE‑SSL는 LoRA 기반 저차원 적응 모듈과 소프트 MoE 라우터를 결합해 기존 SSL 모델을 동결한 채 새로운 언어를 효율적으로 추가한다. 제한된 재현 데이터를 활용해 재학습 시 발생하는 망각을 완화하며, 전체 파라미터의 2.14%만 학습해도 영어, 중국어, 광동어에서 기존 다국어 모델을 크게 능가한다.

상세 분석

본 논문은 대규모 음성 자기지도 학습(SSL) 모델을 다국어 환경에 지속적으로 확장하는 문제를 다룬다. 기존 접근법은 새로운 언어가 추가될 때 전체 모델을 재학습하거나, 어댑터를 별도 추가하는 방식으로 파라미터와 연산량이 급증한다. MiLorE‑SSL는 이러한 한계를 극복하기 위해 두 가지 핵심 기술을 결합한다. 첫째, LoRA(Low‑Rank Adaptation)를 이용해 기존 Transformer의 Feed‑Forward Network(FFN)를 저차원 행렬 A와 B로 분해한 가벼운 적응 모듈을 삽입한다. 이 모듈은 전체 파라미터 중 2.14%만을 학습 파라미터로 사용해 새로운 언어 특성을 효율적으로 캡처한다. 둘째, 소프트 Mixture‑of‑Experts(MoE) 라우터를 도입해 입력에 따라 여러 전문가(LoRA 모듈)에게 가중치를 부여한다. 소프트 라우팅은 softmax 기반으로 확률적 가중치를 산출하므로, 언어 간 공유와 전문화를 동시에 촉진한다. 이는 하드 라우팅이 초래할 수 있는 전문가 고정화 문제를 완화한다.

망각 방지를 위해 제한된 재현(replay) 데이터를 활용한다. 전체 기존 언어 데이터 대신 100시간 정도의 영어 샘플만을 재학습 과정에 삽입해, 이전 언어에 대한 성능 저하를 최소화한다. 이 전략은 대규모 저장소 요구를 크게 낮추면서도 효과적인 지식 유지가 가능함을 실험을 통해 입증한다.

실험은 ML‑SUPERB 벤치마크에서 진행되었으며, 영어, 만다린, 광동어에 대해 단일 언어 ASR과 언어 식별(LID) 작업을 평가한다. MiLorE‑SSL는 기존 mHuBERT‑147 모델(다국어 사전학습)과 비교해 CER를 18.5%→10.3%(영어), 15.5%→10.7%(만다린), 14.8%→11.0%(광동어)로 크게 개선하고, LID 정확도는 97.21%→99.40%까지 상승시켰다. 특히 영어에 강점이 있던 HuBERT‑Large 모델의 영어 성능은 유지하면서 비영어 성능을 크게 끌어올렸다.

추가적인 분석에서는 층별 전문가 활성화 패턴을 시각화해, 하위 층에서는 언어 독립적 특성이, 중간·고층에서는 언어 특화 특성이 나타나는 것을 확인했다. 이는 MoE 구조가 언어별 특성을 적절히 분리하고 공유하도록 학습됨을 시사한다.

Ablation 실험에서는 전문가 수와 LoRA 차원(rank)의 변화를 탐색했으며, 전문가 수가 2~3개, rank가 12일 때 최적의 성능-파라미터 비율을 달성했다. MoE와 Replay를 각각 제거하면 성능이 현저히 저하되는 것을 확인해 두 요소가 상호 보완적으로 작용함을 입증한다.

전반적으로 MiLorE‑SSL는 파라미터 효율성, 연산 비용, 망각 방지 측면에서 기존 방법들을 능가하며, 대규모 다국어 음성 모델을 지속적으로 확장하고자 하는 실무 및 연구 현장에 실용적인 솔루션을 제공한다.