합성 사운드스케이프 기반 트리거 사운드 탐지를 위한 경량 하이브리드 모델

초록

본 연구는 실제 미소포니 데이터가 부족한 상황을 극복하기 위해 합성 사운드스케이프를 생성하고, 사전 학습된 CNN을 고정한 뒤 경량 시계열 모듈(GRU, LSTM, ESN)의 양방향 변형을 결합한 하이브리드 모델을 제안한다. 다중 클래스 트리거 사운드 검출 실험에서 양방향 GRU가 최고 정확도를 보였으며, 파라미터가 극히 적은 양방향 ESN도 경쟁력 있는 성능을 나타냈다. 또한 5개 이하의 지원 클립만을 이용한 몇 샷 개인화 실험에서 ESN이 안정적인 결과를 보여, 경량 모델이 개인 맞춤형 미소포니 보조 기술에 적합함을 입증한다.

상세 분석

이 논문은 미소포니 환자를 위한 실시간 보조 기술 개발이라는 실용적 목표를 갖고, 기존 SED(소리 이벤트 검출) 연구와 DCASE Task 4에서 사용되는 합성 데이터 생성 파이프라인을 그대로 차용한다. 저자는 7개의 트리거 카테고리를 선정하고, Scaper를 이용해 10초 길이의 합성 사운드스케이프 10 000개(학습 6000, 검증 2000, 테스트 2000)를 구축하였다. 데이터는 다양한 공개 음원(Foams, MATA, FSD50K 등)에서 추출한 전용 클립을 YAM‑Net으로 사전 필터링하고, 인간 청취자를 통해 최종 검증함으로써 라벨 품질을 확보했다.

모델 아키텍처는 크게 두 부분으로 나뉜다. 첫 번째는 프레임‑단위 MobileNetV3 기반 CNN 백본으로, 사전 학습된 가중치를 고정하고 40 ms 해상도의 임베딩(zₜ)을 추출한다. 두 번째는 시계열 모듈로, GRU, LSTM, ESN의 단방향·양방향 변형을 적용한다. 특히 ESN은 reservoir computing 방식을 채택해 재귀 가중치를 고정하고, 오직 출력 가중치만 학습함으로써 파라미터 수를 수십 배 감소시킨다. 모든 시계열 모듈은 동일한 선형 + 시그모이드 읽기층을 공유해, 비교가 공정하도록 설계되었다.

실험 결과, 양방향 GRU(BiGRU)가 PSDS1 기준에서 가장 높은 F1‑score(≈0.78)을 기록했으며, 양방향 LSTM은 비슷하지만 연산량이 더 컸다. 반면 양방향 ESN(BiESN)은 파라미터가 0.1 % 수준으로 최소화된 상태에서도 PSDS1이 0.74 수준으로 경쟁력을 유지했다. 이는 고정된 reservoir가 시계열 컨텍스트를 충분히 포착한다는 점을 시사한다.

개인화 시나리오를 모사한 몇 샷 실험에서는 ‘식사 소리’ 클래스에 대해 5개 이하의 지원 클립만을 제공하고, 메타‑러닝 없이 직접 fine‑tuning을 수행했다. 이때 BiGRU는 과적합 위험으로 성능 변동이 크지만, BiESN은 안정적인 검출률을 유지했다. 이는 파라미터가 적은 모델이 소량 데이터에 더 강인함을 보여준다.

전체적으로, 논문은 (1) 합성 사운드스케이프를 통한 대규모 라벨링, (2) 프리‑트레인된 CNN 고정으로 프론트엔드 비용 최소화, (3) 경량 시계열 모듈 특히 ESN의 효율성이라는 세 축을 결합해, 실시간 온‑디바이스 미소포니 보조 시스템 구현에 실질적인 로드맵을 제공한다.