온디바이스 채널 프루닝으로 개인화 키워드 스포팅 효율화

초록

본 논문은 항상 켜져 있는 키워드 스포팅(KWS) 시스템에서 사용자와 환경에 맞는 적응을 위해, 가중치 미세조정과 구조적 채널 프루닝을 동시에 수행하는 온디바이스(OnDA) 파이프라인을 제안한다. 데이터‑agnostic L1 프루닝과 데이터‑aware Hessian‑Aware Pruning(HAP)을 각각 오프라인·온라인 단계에 적용해 HeySnips와 HeySnapdragon 데이터셋에서 최대 9.63배의 모델 크기 압축을 달성했으며, Jetson Orin Nano GPU에서 온라인 학습·추론 시 지연시간과 에너지 소비를 각각 1.51.9배, 1.62.5배 감소시켰다.

상세 분석

이 연구는 기존의 온디바이스 KWS 개인화 방법이 가중치만을 업데이트하는 한계를 인식하고, 모델 아키텍처 자체를 동적으로 축소하는 구조적 채널 프루닝을 도입함으로써 두 축을 동시에 최적화한다는 점에서 혁신적이다. 먼저, 사전 학습 단계에서 대규모 MSWC 데이터셋을 이용해 ResNet15와 DS‑CNN‑L을 ProtoNet 형태로 학습한다. 이후 사용자가 제공한 소량의 양성 샘플을 기반으로 키워드 프로토타입을 만들고, 실시간 오디오 스트림을 유클리드 거리 기반으로 pseudo‑label링한다. 이 pseudo‑label 데이터는 두 가지 역할을 수행한다. 하나는 기존 방식과 동일하게 triplet loss를 이용한 가중치 미세조정이며, 다른 하나는 채널 중요도 평가에 사용된다.

채널 중요도 평가는 두 가지 경로로 나뉜다. 데이터‑agnostic 방식은 각 채널의 L1‑norm을 점수로 삼아 가장 작은 채널을 순차적으로 제거한다. 이는 구현이 간단하고 연산 비용이 낮아 온라인 프루닝(O2) 단계에 적합하다. 반면 데이터‑aware 방식인 Hessian‑Aware Pruning(HAP)은 Hutchinson 방법을 통해 각 채널에 대한 Hessian 트레이스를 추정하고, 이를 L2‑norm과 파라미터 수로 정규화한 점수를 산출한다. 이 점수는 손실 곡면의 곡률 정보를 반영하므로, 특히 라벨이 희소한 상황에서 중요한 채널을 보존하는 데 유리하다. HAP은 O1 단계에서 가중치 업데이트 이전에 적용될 수 있어, 초기 프루닝 단계부터 모델 크기를 크게 줄이면서도 이후 미세조정 비용을 감소시킨다.

실험 결과는 두 가지 중요한 인사이트를 제공한다. 첫째, 도메인‑특화 데이터(즉, pseudo‑label링된 현장 데이터)를 이용한 데이터‑aware 프루닝이 오프라인에서만 수행된 프루닝보다 일관되게 더 높은 정확도‑대‑크기 효율을 보였다. 이는 현장 데이터가 실제 배포 환경의 분포를 반영하므로, 프루닝 단계에서 손실 증가를 최소화할 수 있음을 의미한다. 둘째, 프루닝 시점에 따라 성능 차이가 나타난다. O1(프루닝 후 가중치 미세조정)에서는 프루닝 비율이 높아도 손실이 크게 회복되지만, O2(가중치 미세조정 후 프루닝)에서는 데이터‑agnostic L1 프루닝이 손실을 더 크게 야기한다. 따라서 데이터‑aware HAP을 O1에 적용하는 것이 가장 효율적인 전략임을 확인했다.

하드웨어 측면에서는 Jetson Orin Nano GPU와 CPU 양쪽에서 실시간 학습·추론을 수행했으며, 온디바이스 프루닝을 적용한 모델은 평균 1.51.9배 빠른 학습 지연과 1.62.5배 낮은 에너지 소비를 기록했다. 특히 GPU 환경에서는 추론 지연이 1.57배, 에너지 소비가 1.77배 감소했으며, CPU에서는 각각 1.86배와 2.07배의 개선을 보였다. 이러한 결과는 구조적 채널 프루닝이 기존의 가중치 미세조정만을 수행하는 방식에 비해 연산량과 메모리 사용량을 크게 절감하면서도 정확도 손실을 최소화한다는 것을 실증한다.

요약하면, 이 논문은 온디바이스 KWS 개인화에 구조적 채널 프루닝을 결합함으로써 모델 크기, 지연시간, 에너지 효율을 동시에 최적화하는 새로운 패러다임을 제시한다. 데이터‑aware HAP을 활용한 온라인 프루닝은 적은 양의 현장 데이터만으로도 강력한 압축 효과를 얻을 수 있음을 보여주며, 향후 저전력 음성 인터페이스와 같은 엣지 AI 응용 분야에 직접적인 적용 가능성을 열어준다.