아동 음성 인식 향상을 위한 델타 SSL 임베딩 융합

초록

본 연구는 사전학습된 SSL 모델을 아동 음성에 맞게 미세조정한 뒤, 미세조정 전후 임베딩 차이인 델타 임베딩을 다른 SSL 모델의 미세조정 임베딩과 결합함으로써 표현 공간의 변화를 활용한다. MyST 아동 말뭉치를 대상으로 WavLM, HuBERT, W2V2 세 모델을 실험했으며, 델타 임베딩을 concat 방식으로 융합했을 때 특히 저자원(1 h) 상황에서 HuBERT 대비 10 %·W2V2 대비 4.4 %의 상대적 WER 감소를 달성했다. 특히 WavLM과 ΔW2V2의 결합으로 9.64 %의 WER를 기록, MyST 코퍼스에서 SSL 기반 최첨단 성능을 새롭게 설정하였다.

상세 분석

이 논문은 SSL 기반 음성 인식 모델이 아동 음성에 적용될 때 겪는 도메인 불일치와 데이터 부족 문제를 ‘델타 임베딩’이라는 새로운 관점으로 접근한다. 기존 연구에서는 파라미터 차이를 이용한 ‘task vector’가 특정 작업에 대한 정보를 담는다는 점을 밝혀냈지만, 이 연구는 그 개념을 임베딩 레벨로 확장한다. 구체적으로, 각 SSL 모델 f_i에 대해 미세조정된 임베딩 E_i^ft와 사전학습 상태의 임베딩 E_i^pt의 차이 ΔE_i = E_i^ft – E_i^pt를 정의한다. 이 ΔE_i는 모델이 아동 ASR이라는 새로운 과제에 적응하면서 발생한 표현상의 변화를 직접적으로 포착한다는 가정이다.

세 가지 SSL 모델(Wav2Vec2.0, HuBERT, WavLM)은 사전학습 목표와 구조가 서로 다르기 때문에 서로 보완적인 특성을 가질 가능성이 있다. 논문은 WavLM을 기준 모델로 삼고, 다른 모델들의 Δ임베딩을 WavLM의 미세조정 임베딩과 결합한다. 결합 방법으로는 (1) 단순 가중합, (2) concatenation, (3) cross‑attention을 실험했으며, 실험 결과 concatenation이 가장 일관된 성능 향상을 보였다. 이는 고차원 표현을 그대로 보존하면서 두 모델의 정보를 손실 없이 병합할 수 있기 때문으로 해석된다.

성능 평가에서는 MyST 아동 코퍼스의 전체 133 h 학습 데이터와 1 h, 5 h, 10 h의 초저자원 설정을 모두 사용했다. 전체 데이터에서는 WavLM+ΔW2V2가 9.64 % WER로 최고 기록을 세웠으며, 1 h 설정에서는 WavLM+ΔHuBERT가 22.74 % WER로 기존 HuBERT 기반 모델 대비 10 % 상대적 개선을 달성했다. 이는 Δ임베딩이 특히 데이터가 부족할 때 모델 간의 보완성을 크게 강화한다는 증거이다.

또한, 저자는 Canonical Correlation Analysis(PWCCA)를 통해 Δ임베딩이 실제로 어떤 정보를 추가하는지 정량화했다. 미세조정된 모델과 사전학습 모델 사이의 CCA 유사도는 상위 레이어에서 급격히 감소하는데, 이는 미세조정이 주로 고층에서 일어난다는 기존 연구와 일치한다. Δ임베딩과 미세조정 임베딩 간의 CCA 유사도는 중간 레이어에서는 비교적 일정하다가 최종 레이어에서 급락하는데, 이는 Δ임베딩이 주로 작업 특화된 변화를 캡처한다는 것을 의미한다. 특히 ΔW2V2는 ΔHuBERT보다 최종 레이어에서 더 큰 차이를 보이며, 이는 W2V2가 보다 급격한 작업 적응을 수행함을 시사한다.

크로스‑도메인 실험에서는 LibriSpeech(성인) 데이터로 미세조정한 Δ임베딩을 사용했을 때도 MyST 기준 모델 대비 일정 수준의 개선을 보였으며, 이는 성인 음성 지식이 아동 음성 인식에 전이될 수 있음을 확인한다. 마지막으로 Mixture‑of‑Experts(MoE) 게이팅 분석을 통해 두 임베딩이 실제로 모델에 의해 동시에 활용되고 있음을 확인했으며, W2V2 Δ임베딩에 더 낮은 가중치가 할당될수록 WER이 감소하는 경향을 보였다. 이는 W2V2가 WavLM과 더 큰 보완성을 제공한다는 결론을 뒷받침한다.

전체적으로 이 논문은 (1) Δ임베딩이라는 새로운 표현‑레벨 task vector 개념을 제시하고, (2) 이 Δ임베딩을 다른 SSL 모델과 결합함으로써 특히 저자원 상황에서 아동 ASR 성능을 크게 끌어올릴 수 있음을 실증했으며, (3) CCA와 MoE 분석을 통해 Δ임베딩이 제공하는 보완적 정보의 메커니즘을 정량적으로 설명했다는 점에서 학술적·실용적 의의가 크다.