거리 음성 인증을 위한 USTC 스피치 시스템

초록

본 논문은 VOiCES from a Distance Challenge 2019 고정 조건(Fixed Condition)에서 사용된 USTC 스피치 연구실의 스피커 검증 시스템을 소개한다. 공개 데이터셋인 VoxCeleb와 SITW를 기반으로 i‑vector/PLDA와 x‑vector/PLDA 두 가지 주요 프레임워크를 구축하고, 데이터 증강, 특성 추출, 모델 구조 최적화, 시스템 융합 등을 통해 높은 인증 성능을 달성하였다.

상세 분석

본 연구는 거리 환경에서의 스피커 검증 문제를 해결하기 위해 전통적인 i‑vector/PLDA와 최신 딥러닝 기반 x‑vector/PLDA를 병행 적용한 하이브리드 시스템을 설계하였다. 데이터 준비 단계에서는 VoxCeleb1/2와 SITW를 활용하였으며, 고정 조건에 맞추어 외부 라벨이나 비공개 데이터는 일절 사용하지 않았다. 음성 신호는 16 kHz로 재샘플링하고, 23차 멜 필터뱅크를 이용해 30 ms 프레임, 10 ms 홉으로 MFCC와 로그 멜 스펙트로그램을 추출하였다. i‑vector 파이프라인에서는 GMM‑UBM(2048 컴포넌트)과 총변량 400을 사용하고, 이후 LDA(150 차원)와 length‑normalization을 거쳐 PLDA 모델을 학습하였다. x‑vector 파이프라인은 Kaldi‑style TDNN 구조를 기반으로 하며, 5개의 컨볼루션 레이어와 통계 풀링 레이어를 포함한다. 각 레이어의 채널 수는 512, 512, 512, 512, 1500으로 설정하고, ReLU 활성화와 배치 정규화를 적용해 학습 안정성을 높였다. 훈련 시에는 데이터 증강으로 babble, music, noise, reverberation을 무작위로 삽입해 SNR을 0~20 dB 범위로 변동시켰으며, 이는 모델의 잡음 및 회향 강인성을 크게 향상시켰다. 최적화는 SGD with momentum(0.9)와 초기 학습률 0.01을 사용하고, 3 epoch마다 학습률을 0.5배 감소시켰다. 검증 단계에서는 각 시스템별 스코어를 cosine similarity와 PLDA 로그 가능도 두 방식으로 산출하고, 최종 결과는 시스템별 가중 평균을 통해 융합하였다. 융합 가중치는 개발 셋에서 EER 최소화를 목표로 그리드 서치를 수행해 결정하였다. 실험 결과, i‑vector/PLDA 단독보다 x‑vector/PLDA가 전반적으로 우수했으며, 두 시스템을 결합한 최종 모델은 개발 셋에서 EER 5.2 %를 기록, 베이스라인 대비 약 30 % 이상의 상대 개선을 달성하였다. 또한, 모델 크기와 추론 속도 측면에서도 x‑vector 기반이 효율적이었으며, 실시간 응용 가능성을 확보하였다. 본 논문은 거리 환경에서의 스피커 검증에 있어 전통적 통계 모델과 딥러닝 모델을 상호 보완적으로 활용함으로써, 제한된 데이터와 고정 조건 하에서도 경쟁력 있는 성능을 얻을 수 있음을 입증한다.