대규모 오픈 VAD 데이터셋 LibriVAD와 Vision Transformer 기반 벤치마크

초록

LibriVAD는 LibriSpeech를 기반으로 다양한 실세계·합성 잡음을 추가해 SNR·SSR을 체계적으로 제어한 3가지 규모(15 GB, 150 GB, 1.5 TB)와 2가지 형태(NonConcat, Concat)로 제공되는 공개 데이터셋이다. MFCC·GFCC·파형 특징과 함께 Vision Transformer(ViT)를 적용한 VAD 모델을 벤치마크했으며, ViT‑MFCC 조합이 기존 bDNN·CLDNN보다 Seen, Unseen, OOD(VOiCES) 환경에서 일관적으로 우수함을 보였다. 데이터셋 크기와 SSR을 확대·균형화하면 OOD 성능이 크게 향상됨을 실험적으로 입증하였다.

상세 분석

본 논문은 VAD 연구에 필요한 대규모, 체계적으로 제어된 공개 데이터셋이 부족하다는 문제를 정확히 짚어낸다. LibriVAD는 기본적으로 LibriSpeech의 clean speech를 사용하고, WHAM!, DEMAND 등 실제 환경 잡음과 자체 생성한 Speech‑Shaped Noise(SSN), Babble을 결합해 9가지 잡음 유형을 만든다. 각 잡음은 6가지 SNR(−5 ~ 20 dB)과 2가지 SSR(기본 17.6 %와 34 %인 Concatenated 버전)으로 조절되어, 학습·검증·테스트 단계에서 Seen/Unseen 구분이 명확히 정의된다. 데이터 규모는 전체 1.5 TB(≈14 000 h)에서 10배, 100배 샘플링한 medium(≈1 400 h)·small(≈140 h) 버전으로 제공돼, 연구 환경에 맞는 선택이 가능하다.

특징 추출 측면에서 MFCC(39 dim), GFCC(39 dim), raw waveform을 사용했으며, 각 특징에 대해 시간‑주파수 윈도우(25 ms, 10 ms hop)와 1차·2차 차분을 적용했다. 모델 아키텍처는 기존 bDNN(Boosted DNN)과 CLDNN(Convolutional LSTM DNN)을 baseline으로 삼고, Vision Transformer(ViT)를 VAD에 최초 적용했다. ViT는 12개의 self‑attention 레이어와 8개의 헤드, 384‑dim 임베딩을 사용했으며, 입력 시퀀스를 20 ms 프레임 단위로 토큰화해 전역 컨텍스트를 효과적으로 포착한다.

실험 결과는 세 가지 핵심 인사이트를 제공한다. 첫째, ViT‑MFCC 조합이 모든 조건에서 가장 높은 AUC/F1을 기록했으며, 특히 OOD인 VOiCES 데이터셋(리버버레이션·실제 잡음)에서 기존 모델 대비 3~5 % 절대 향상을 보였다. 둘째, 데이터셋 규모를 확대할수록 성능이 점진적으로 상승했으며, 특히 small→medium 전이에서 평균 2 % 이상의 개선이 관찰되었다. 셋째, SSR을 34 %로 균형 맞춘 Concatenated 버전은 NonConcat 대비 비음성 구간을 더 다양하게 제공함으로써, 모델의 일반화 능력을 크게 강화했다. 이러한 결과는 VAD가 단순한 SNR 대비보다 비음성 구간의 다양성과 양에 민감함을 시사한다.

또한, 논문은 데이터셋 구축 과정에서 forced alignment를 이용해 프레임‑레벨 라벨을 자동 생성했으며, 이는 전문가 라벨링과 거의 동일한 정확도를 보인다는 실증을 제시한다. 공개된 코드와 사전 학습 모델은 reproducibility를 보장하고, 향후 잡음‑강인 스피치 인식·다이어리제이션 등 다양한 downstream 작업에 바로 활용 가능하도록 설계되었다. 전반적으로 LibriVAD는 VAD 연구뿐 아니라 스피치 강화·노이즈 억제 등 광범위한 음성 처리 분야에 표준 벤치마크 역할을 할 잠재력을 갖는다.