DSP 기반 저차원 병목 특징으로 실시간 음성 인식 효율 극대화

본 논문은 저전력 디지털 신호 프로세서(DSP)의 메모리 제약을 극복하고, 배터리 소모를 최소화하면서도 대규모 어휘 연속 음성 인식(LVCSR) 성능을 유지할 수 있는 새로운 아키텍처를 제시한다. 연구는 크게 네 부분으로 구성된다. 첫째, 기존 LAS( Listen, Attend, Spell) 기반 엔드‑투‑엔드 음성 인식 모델을 분석한다. 이 모델은 80 × 3 차원의 32‑bit 부동소수점 멜 스펙트로그램을 입력으로 사용하며, 시간당 약 768 kbps의 대역폭을 차지한다. 이러한 고대역폭은 DSP에서 직접 캐시하기엔 비현실적이다. 저자들은 이를 해결하기 위해 QM‑features(16‑bit 고정소수점 로그‑멜)라는 경량 특징을 도입하고, 주파수 대역을 3.8 kHz까지 제한한 32 채널 입력으로 대역폭을 154 kbps로 감소시킨다. 둘째, DSP에서 실행 가능한 병목 특징(BNF) 추출기를 설계한다. 설계는 Gfeller 등(2017)의 2‑stage separable convolution 구조를 차용했으며, 가중치는 8‑bit, 편향은 32‑bit, 배치 정규화와 ReLU를 포함한다. 이 레이어는 하나의 4 × 1 커널과 1‑D separable convolution으로 구성되어 연산량과 메모리 사용을 최소화한다. 셋째, 압축 파라미터를 네 축(출력 차원, 양자화 비트, 시간 스트라이드, 레이어 수)으로 체계화하고, 각 축이 대역폭과 인식 정확도에 미치는 영향을 실험적으로 조사한다. 출력 차원을 8~12 차원으로 줄이고 양자화를 4 bit로 낮추면 대역폭이 4.8 kbps까지 감소한다. 이때 WER은 22.44 %로 원본 21.79 % 대비 0.6 %만 상승한다. 스트라이드를 늘리면 대역폭 감소 효과는 커지지만, 인코더 스트라이드와 동기화되지 않으면 성능이 급격히 저하된다. 따라서 시간 압축은 기존 40 ms 프레임을 유지하는 것이 최적임을 확인한다. 넷째, 다양한 압축 비율에 대한 최적 모델을 선정한다. 표 2와 그림 3은 1/10, 1/20, 1/32, 1/64 등 여러 대역폭 비율에서 최고의 구성을 제시한다. 1/10 대역폭(4.8 kbps) 모델은 단일 BNF 레이어, 4‑bit 양자화, 12‑채널 출력으로 가장 효율적이며, 1/64 대역폭(0.8 kbps) 모델은 1536‑채널 출력과 4‑bit 양자화를 사용해 WER이 28.41 %까지 상승한다. 전체적으로 10배~64배 압축에도 불구하고 WER 상승이 5.8 % 이하에 머무른다. 통계적 검증을 위해 McNemar 검정을 적용했으며, 커널 크기(1~10)와 활성화 함수(ReLU vs Identity)는 고압축 상황에서도 성능 차이가 없음을 확인했다. 이는 DSP에서 연산량을 최소화하면서도 정확도를 유지할 수 있음을 의미한다. 결론적으로, 이 연구는 DSP에서 직접 음성 특징을 압축하고, 메인 프로세서는 고차원 디코딩에 집중하도록 함으로써 전력 소비와 메모리 사용을 크게 절감할 수 있음을 실증한다. 특히 4‑bit 양자화와 8~12 차원 BNF가 최적의 트레이드오프를 제공한다는 점은 향후 모바일 음성 인식 서비스 설계에 중요한 지침이 될 것이다. 향후 실제 디바이스에서의 전력 측정과 디코더 연산량 최적화가 필요하지만, 제안된 아키텍처는 온‑디바이스 LVCSR을 실현하기 위한 강력한 기반을 제공한다.