모바일 실시간 키워드 스포팅을 위한 시간형 컨볼루션 네트워크

키워드 스포팅(KWS)은 스마트폰, 스마트 스피커 등에서 “Hey Siri”, “Okay Google”과 같은 호출어를 실시간으로 인식하는 핵심 기술이다. 높은 정확도와 즉각적인 반응을 동시에 만족시켜야 하는데, 기존의 2D CNN 기반 접근법은 MFCC를 이미지 형태(t × f × 1)로 입력해 작은 3 × 3 커널을 여러 층 쌓아야 충분한 수용 영역을 확보한다. 이는 연산량과 메모리 사용을 급증시켜 모바일 디바이스에서 실시간 적용이 어려운 구조적 한계를 만든다. 또한 기존 연구들은 FLOPs나 MACs와 같은 간접 지표만 제시했으며, 실제 모바일 환경에서의 지연 시간을 정량적으로 측정하지 못했다. 이러한 문제점을 해결하고자 저자들은 두 가지 주요 아이디어를 제시한다. 첫째, MFCC를 시간축의 다중 채널( t × 1 × f )로 재구성하고, 1차원 시간형 컨볼루션만을 적용한다. 이는 낮은 층에서 추출된 모든 주파수 대역의 정보를 고층 특징에 바로 반영하게 하여, 적은 층 수로도 넓은 수용 영역을 확보한다. 둘째, ResNet 구조를 기반으로 m × 1 커널(첫 레이어 m=3, 이후 m=9)과 스트라이드 2를 활용한 경량화된 TC‑ResNet을 설계한다. 모든 레이어와 완전 연결층에는 bias를 없애고, 배치 정규화와 ReLU만을 사용해 연산 효율을 극대화한다. 모델 크기와 연산량을 조절하기 위해 폭(multiplier) k를 도입해 TC‑ResNet8, TC‑ResNet14 등 다양한 변형을 만든다. 실험은 Google Speech Commands 데이터셋(12 클래스)에서 진행했으며, 데이터 증강(배경 잡음 혼합, 시간 이동)과 40 MFCC, 30 ms 윈도우·10 ms 스트라이드 등 기존 설정을 그대로 적용했다. 학습은 TensorFlow 기반 SGD(모멘텀 0.9, weight decay 0.001, dropout 0.5)로 30k 스텝, 15번 반복 평균 정확도를 보고한다. 평가 지표는 정확도, FLOPs, 파라미터 수, 그리고 실제 모바일 디바이스(Google Pixel 1)에서 측정한 추론 시간이다. 결과는 다음과 같다. TC‑ResNet8은 96.1% 정확도로 기존 CNN‑1(90.7%)보다 5.4%p 상승하고, 추론 시간은 1.1 ms로 29배 가속한다. DS‑CNN 시리즈와 비교했을 때도 각각 1.5×~15.3× 빠른 속도와 0.7%p~1.7%p 높은 정확도를 보인다. 특히 가장 복잡한 Res15 모델과 비교했을 때, TC‑ResNet8은 385배 빠른 1.1 ms 추론 시간에 0.3%p 정확도 향상을 달성한다. 폭을 늘린 TC‑ResNet8‑1.5와 TC‑ResNet14‑1.5는 정확도를 96.2%~96.6%까지 끌어올리지만, 추론 시간은 2.5~5.7 ms로 약간 늘어난다. 전반적으로 시간형 컨볼루션이 2D 컨볼루션 대비 연산 효율성과 정확도 모두에서 우수함을 실증하였다. 마지막으로 저자들은 모델 구현, 학습·변환·벤치마크 파이프라인을 모두 오픈소스로 공개해 재현성을 높이고, 실제 모바일 환경에서 KWS 시스템을 손쉽게 배포할 수 있도록 지원한다.