윈도우드 서머리믹싱을 활용한 저자원 음성인식 효율화

초록

본 논문은 SSL 기반 음성인식 모델의 self‑attention이 갖는 2차 복잡도를 완화하기 위해, 전역 평균 요약에 지역 윈도우 요약을 추가한 Windowed SummaryMixing(WSM) 방식을 제안한다. WSM 블록을 기존 어텐션 레이어와 교체하고, 마지막 두 레이어만 선택적으로 미세조정함으로써 VRAM 사용량을 40% 절감하고, 저자원 데이터셋에서 WER를 지속적으로 개선한다.

상세 분석

Self‑supervised learning(SSL) 모델은 wav2vec 2.0, XLS‑R 등 대규모 사전학습을 통해 뛰어난 음성표현을 제공하지만, Transformer 기반의 self‑attention이 입력 길이 T에 대해 O(T²) 연산과 메모리를 요구한다는 근본적인 한계가 있다. 기존의 SummaryMixing(SM)은 모든 프레임을 평균(pooling)하여 전역 요약 s_g를 만든 뒤, 각 프레임에 concat하고 FFN을 적용함으로써 O(T) 복잡도로 전환했지만, 전역 평균만으로는 미세한 시간적 변화를 포착하기 어려워 음성 인식 성능이 제한적이었다. WSM은 이 문제를 해결하기 위해 각 프레임 h_t 주변 k 프레임(전후 각각 k)으로 구성된 윈도우 평균 s_wt를 추가로 계산한다. 수식으로는 s_wt = (1/(2k+1))∑_{j=t‑k}^{t+k}FF(h_j)이며, 최종 출력 y_t = FF(concat(FF(h_t), s_g, s_wt))이다. k는 실험을 통해 5가 최적으로 도출되었으며, 이는 전역 요약과 지역 요약을 동시에 활용해 시간적 의존성을 보존하면서도 연산량은 O(T) 수준으로 유지한다.

선택적 미세조정 전략은 전체 SSL 모델을 업데이트하는 대신, self‑attention 레이어 중 마지막 두 개만 WSM 블록으로 교체하고 이 블록만 학습한다. 이렇게 하면 사전학습된 파라미터를 그대로 보존하면서 새로운 요약 메커니즘만 최적화되므로, 데이터가 부족한 상황에서 과적합 위험을 크게 감소시킨다. 실험에서는 Att‑PT(사전학습된 어텐션)와 Att‑Scratch(무작위 초기화) 대비 WSM이 일관되게 낮은 WER/CER를 기록했으며, 특히 다국어 모델(XLS‑R, MMS 등)에서 2~3% 절대 개선을 보였다.

메모리 측면에서는 SM과 WSM이 각각 30 GB, 32 GB의 VRAM만을 요구해, 기존 어텐션 기반 모델의 50 GB 대비 40% 절감했다. 추론 시간도 20 초 이상 길이의 입력에서 WSM이 25% 정도 빠르게 동작해 실시간 서비스에 적합함을 입증했다. 전체 파이프라인은 H100 GPU 하나에서 배치 16, 25 epoch, 학습률 1e‑3(가중치 레이어)와 3e‑3(WSM 레이어)로 설정했으며, CTC 손실과 문자‑레벨 토크나이징을 사용했다.

이러한 설계는 (1) 선형 복잡도 유지, (2) 지역 컨텍스트 강화, (3) 선택적 파라미터 업데이트를 통한 효율성 증대라는 세 축을 동시에 만족한다는 점에서, 저자원 환경에서 SSL 기반 ASR을 실용화하려는 연구·산업계에 중요한 인사이트를 제공한다.