언어별 깊이 인식 적응으로 저자원 다국어 음성인식 효율화

초록

**
본 논문은 다국어 음성인식 모델에서 층별 언어 특성의 U‑shape 적응성을 발견하고, 이를 기반으로 초기·후기 층에 더 많은 적응 용량을 할당하고 중간 층은 고정하는 Depth‑Aware Model Adaptation(DAMA) 프레임워크를 제안한다. DAMA는 파라미터 80 % 절감하면서 저자원 언어에서 WER를 최대 29 % 개선한다.

**

상세 분석

**
논문은 먼저 최신 멀티링꿀 음성인식 모델(Whisper, MMS 등)의 디코더를 층별로 선형 탐지(LID) 실험에 적용해 각 층이 언어 정보를 얼마나 보유하고 있는지 정량화한다. 결과는 초기 5층과 최종 45층에서 거의 100 %에 달하는 높은 언어 식별 정확도를 보이며, 중간층(약 1220층)에서는 정확도가 90 % 이하로 떨어지는 뚜렷한 U‑shape 곡선을 만든다. 이는 초기 층이 음향‑언어 특성을, 중간층이 언어에 독립적인 의미 표현을, 후기 층이 언어‑특정 어휘·문법을 담당한다는 가설을 뒷받침한다. 기존 LoRA와 같은 파라미터 효율 적응 기법은 모든 층에 동일한 저‑랭크 업데이트를 적용해 중간층까지 불필요하게 변형시켜, 사전 학습된 언어‑공통 표현을 손상시킨다. 이를 해결하기 위해 DAMA는 세 가지 핵심 메커니즘을 도입한다. 첫째, ‘Depth‑Aware Rank Schedule’은 층별 적응 랭크 r(l)을 U‑shape 형태로 설계해 초기·후기 층에 높은 랭크(r_high), 중간층에 최소 랭크(r_low)를 할당한다. 둘째, 중간층의 LoRA 가중치를 SVD 기반으로 초기화해 기존 가중치의 주요 특이벡터와 직교하도록 함으로써 언어‑공통 서브스페이스를 보존한다. 셋째, ‘Basis‑Protected Projection(BPP)’은 중간층의 일부 파라미터를 완전히 고정해 학습 파라미터 수를 추가로 감소시키고, 저자원 상황에서 과적합 위험을 최소화한다. 실험에서는 18개 저자원 언어(공통 음성·FLEURS 데이터셋)에서 DAMA가 기존 최첨단 모델 대비 파라미터 80 % 절감, GPU 메모리 사용량 24 % 감소, 학습 시간 36 % 단축을 달성했으며, 특히 0.5~1시간 수준의 초소량 데이터에서는 WER가 평균 29 % 개선되었다. 이러한 결과는 층별 구조적 특성을 고려한 적응이 파라미터 효율성과 성능 모두에서 큰 이점을 제공함을 입증한다.

**