경량 스트리밍 멀티모달 키워드 스포팅 프레임워크 Synaspot

초록

Synaspot은 음성·텍스트·음성‑텍스트 혼합 3가지 모달리티를 활용해 경량화된 스트리밍 키워드 스포팅을 구현한다. 스피커 특성을 억제한 오디오 인코더와 AAM 손실, 도메인 적응을 통해 화자 무관한 특징을 학습하고, 텍스트와 혼합 임베딩을 대비·정렬한다. 스트리밍 단계에서는 오디오 인코더만 실행해 프레임‑레벨 임베딩을 얻고, 사전 등록된 3가지 임베딩과의 유사도를 실시간으로 계산·평활화해 최종 점수를 산출한다. LibriPhrase와 WenetPhrase 실험에서 파라미터 0.9 M 이하로 기존 스트리밍 모델보다 낮은 EER와 높은 정확도를 기록하였다.

상세 분석

Synaspot은 기존 멀티모달 KWS가 안고 있던 “파라미터 폭증”과 “비스트리밍 의존” 문제를 동시에 해결하고자 설계되었다. 핵심은 세 단계로 나뉜 파이프라인이다. 첫째, 오디오 인코더는 7계층 DFSMN 구조에 256 차원의 은닉 유닛을 사용해 FBank 프레임을 임베딩(E_A)으로 변환한다. 여기서 화자 정보를 억제하기 위해 스피커 분류기를 연결하고, 역전파 시 그 그래디언트를 반전시키는 도메인 적응 기법을 적용한다. 동시에 프레임‑레벨 음소 분류에 AAM(Angular Additive Margin) 손실을 도입해 음소 간 각도 마진을 확대, 음소 혼동을 최소화한다. 손실은 L_audio = α_A·L_ph + β_A·L_vp 형태로 가중합한다. 둘째, 텍스트 임베딩(E_T)은 임베딩 레이어와 LSTM으로 생성하고, 교차‑어텐션을 통해 E_T를 쿼리, E_A를 키·밸류로 사용해 혼합 임베딩(E_M)을 만든다. 이후 음성‑텍스트‑혼합 3가지 임베딩을 동일 공간에 정렬하기 위해 대조학습(Contrastive Learning) 손실 L_clat와 L_clam을 도입한다. 전체 손실은 L_mixed = α_M·L_ph + β_M·L_clat + γ_M·L_clam 으로 구성된다. 셋째, 스트리밍 추론 단계에서는 오디오 인코더만 실시간으로 실행해 프레임‑레벨 임베딩(E_W)을 얻고, 사전 등록된 E_A, E_T, E_M과의 코사인 유사도 p_ij를 계산한다. 노이즈 억제를 위해 이동 평균 기반 causal smoothing을 적용하고, 일정 윈도우 내 최대 유사도를 누적해 최종 점수 S = Σ_{k∈window} max p’_ik 로 만든다. 마지막에 α_S·S_A + β_S·S_T + γ_S·S_M 으로 모달리티별 점수를 가중합한다. 실험에서는 LibriSpeech 기반 LibriPhrase와 중국어 WenetPhrase 두 데이터셋을 사용했으며, 파라미터 0.9 M인 Synaspot-AA(오디오 전용), Synaspot-A_T(텍스트 전용), Synaspot_T_A(통합) 모델이 기존 0.6‑2.2 M 파라미터 모델보다 EER 5.77%~14.56%와 AUC 27.29%~92.87% 수준으로 우수한 성능을 보였다. Ablation 실험에서는 혼합 임베딩과 스피커 분류기 제거 시 성능이 현저히 저하되는 것을 확인했으며, 이는 화자 무관한 특징과 멀티모달 정렬이 KWS 정확도에 크게 기여함을 증명한다. 또한, 비스트리밍 모델은 고정 윈도우 길이에 민감해 실시간 적용이 어려운 반면, Synaspot은 프레임 단위 처리와 낮은 연산량으로 실시간 스트리밍에 적합함을 입증하였다.