모바일 기기용 저전력 키워드 스포팅 캐스케이드 구조

초록

본 논문은 DSP와 애플리케이션 프로세서를 결합한 2단계 캐스케이드 구조를 제안한다. 첫 번째 단계는 초소형 모델을 DSP에서 연속 실행해 전력 소모를 최소화하고, 두 번째 단계는 더 정교한 모델과 화자 검증을 AP에서 수행해 정확도를 높인다. 양 단계의 협업으로 낮은 전력 소비와 높은 인식 성능을 동시에 달성한다.

상세 분석

이 연구는 모바일 환경의 엄격한 전력 제한을 고려하여, 키워드 스포팅 파이프라인을 두 단계로 분리한 캐스케이드 방식을 채택하였다. 첫 번째 단계는 DSP 전용 메모리와 저전력 코어에 탑재되는 13 kB 크기의 초소형 신경망 모델을 사용한다. 모델은 3240개의 로그‑멜 필터뱅크를 입력으로 받아, 제한된 연산량으로 음향 유닛(폰·음절) 후방 확률을 출력한다. 이 단계는 연속적인 오디오 스트림을 2초 단위 버퍼링하면서, 매우 낮은 FAR(시간당 몇 회)만을 허용하도록 설계되었다. 두 번째 단계는 AP에서 실행되며, 보다 큰 파라미터 수와 복잡한 토폴로지를 갖는 모델을 사용한다. 여기서는 첫 단계에서 전달받은 버퍼를 즉시 처리해 지연 시간을 최소화하고, 화자 검증 모듈(LSTM 기반)까지 포함한다. 화자 검증은 3회 정도의 등록 발화를 통해 고유 서명을 생성하고, 실시간 발화와 코사인 유사도 비교를 통해 인증 여부를 판단한다. 이로써 타인에 의한 오탐을 510배 감소시키면서 FRR 상승은 1% 미만에 머문다. 또한, 양 단계 모델은 동일 데이터셋으로 학습되어 FRR가 거의 동일하게 유지되도록 하였으며, 첫 단계의 높은 FAR가 전체 전력 소모에 미치는 영향을 최소화하기 위해 운영점(Threshold)을 정밀히 조정한다. 양자화 전략도 핵심 요소로, 8비트 정수형으로 파라미터와 입력을 변환해 메모리 사용량을 크게 줄이고, DSP의 고정소수점 연산에 최적화하였다. 플랫폼 별 DSP 특성을 고려한 에뮬레이션 라이브러리를 도입해, 훈련 단계와 추론 단계 사이의 비트 정확성을 보장한다. 실험 결과는 924시간 분량의 TV 배경 잡음과 65,581개의 키워드 발화 데이터를 이용해, 첫 단계의 FAR를 0.02 FA/hr 수준으로 낮추면서 전체 시스템의 FRR를 3.5% 이하로 유지함을 보여준다. 서버 측 추가 검증 단계는 선택 사항이지만, 전체 음성 인식 파이프라인과 연계해 최종 오류율을 더욱 감소시킬 수 있다. 전체적으로 이 논문은 전력 효율과 인식 정확도 사이의 트레이드오프를 캐스케이드 설계와 양자화, 화자 검증을 통해 효과적으로 해결한 사례로 평가된다.