제로샷 키워드 스팟팅을 위한 GE2E 기반 통합 학습 프레임워크

초록

GE2E‑KWS는 사용자 정의 키워드에 대해 사전 재학습 없이 바로 적용 가능한 제로샷 키워드 스팟팅을 목표로, 배치 내 발화들을 enrollment와 test로 구분해 각 키워드별 중심벡터(centroid)를 만든 뒤 모든 테스트 임베딩과 비교하는 일반화된 엔드‑투‑엔드 손실을 제안한다. 행렬 연산을 활용해 학습 효율성을 높이고, 실사용 환경을 모사한 평가 파이프라인과 AUC·EER 기반 지표를 정의한다. 419KB 양자화 Conformer 모델이 7.5GB ASR 인코더 대비 23.6% 높은 AUC, 동일 구조 트리플렛 모델 대비 60.7% 높은 AUC를 달성했으며, 스트리밍 실행이 가능하고 메모리·연산 비용이 크게 감소한다.

상세 분석

본 논문은 기존 키워드 스팟팅 연구가 주로 고정된 소수의 트리거 단어에 초점을 맞추고, 새로운 키워드가 추가될 때마다 모델 재학습이 필요하다는 한계를 지적한다. 이를 해결하기 위해 음성 임베딩을 활용한 제로샷 방식에 착안했으며, 특히 화자 인증 분야에서 성공적으로 적용된 Generalized End‑to‑End (GE2E) 손실을 키워드 매칭에 그대로 옮겨왔다. 학습 단계에서는 배치 내 X개의 키워드 각각에 대해 Y개의 발화를 절반은 enrollment, 절반은 test로 나누어 각 키워드별 중심벡터 c_i 를 계산한다. 이후 c_i 와 모든 positive test 임베딩(p_i) 사이의 코사인 유사도를 최대화하고, negative test 임베딩(n_i)와의 유사도는 최소화하도록 로그‑소프트맥스 형태의 손실 L(c_i)를 정의한다. 이 접근법은 (1) 단일 앵커에 의존하는 트리플렛 손실에 비해 샘플링 변동성을 크게 감소시켜 수렴 안정성을 높이며, (2) 모든 (centroid, test) 쌍을 행렬 연산으로 한 번에 처리함으로써 GPU 활용 효율을 극대화한다는 장점을 가진다.

모델 아키텍처 측면에서는 LSTM 기반 경량 모델과 최신 Conformer 구조를 모두 실험했으며, 특히 Conformer는 전역‑지역 특징을 동시에 포착해 높은 표현력을 제공한다. 양자화 단계에서는 TensorFlow Lite의 동적 범위 양자화를 적용해 2.8 MB 모델을 419 KB로 압축했으며, 8‑bit 정밀도에도 불구하고 원본 모델 대비 정확도 손실이 미미함을 확인했다.

평가 프로토콜은 기존 연구가 주로 분류 정확도에 의존하던 점을 보완한다. 논문은 Speech Commands 데이터셋을 enrollment와 test 세트로 명확히 분리하고, 각 키워드별 10개의 enrollment 발화를 사용해 중심벡터를 만든 뒤, 모든 테스트 발화와의 코사인 유사도를 측정한다. 이를 기반으로 DET 곡선, AUC, EER을 구하고, 깨끗한 환경과 3 dB~15 dB 배경 잡음이 섞인 MTR 환경 모두에서 성능을 보고한다. 결과적으로 419 KB 양자화 Conformer는 7.5 GB ASR 인코더 대비 23.6 % 상대 AUC 향상을, 동일 구조 트리플렛 모델 대비 60.7 % 향상을 달성했으며, EER 역시 크게 감소했다. 또한 모델은 스트리밍 추론이 가능하도록 설계돼, 디바이스 상에서 지속적인 음성 스트림을 실시간으로 처리할 수 있다.

이와 같이 GE2E‑KWS는 손실 설계, 모델 선택, 양자화, 평가까지 전 과정을 일관된 프레임워크로 통합함으로써, 제로샷 키워드 스팟팅을 실용적인 수준으로 끌어올렸다. 향후 연구에서는 더 다양한 언어·발화 환경, 멀티모달(텍스트+음성) enrollment, 그리고 온‑디바이스 적응 학습 등을 통해 확장성을 검증할 여지가 있다.