와일드 환경 화자 인식을 위한 발화‑수준 집계 기법

**1. 서론 및 배경** ‘와일드’ 환경에서의 화자 인식은 최근 공개 대규모 데이터셋(VoxCeleb 시리즈)과 딥러닝 프레임워크의 발전으로 활발히 연구되고 있다. 기존 방법은 프레임‑레벨 특징을 평균 풀링(TAP)이나 통계 풀링(SAP) 등으로 단순 집계했으며, 이는 모든 프레임에 동일 가중치를 부여해 잡음이나 무의미 구간을 효과적으로 배제하지 못한다. 반면 i‑vector와 같은 전통적 방법은 통계적·사전 학습된 사전(dictionary) 기반 집계를 사용해 어느 정도 잡음 억제가 가능했다. 최근에는 딥 네트워크와 사전 학습 가능한 딕셔너리 기반 집계(LDE, NetVLAD 등)를 결합하려는 시도가 등장했지만, 파라미터 규모가 크고, 가변 길이 입력에 대한 효율성이 떨어지는 문제가 있었다. **2. 제안 방법** 본 논문은 두 가지 핵심 요소를 결합한다. 첫째, 채널 수를 크게 축소한 ‘Thin‑ResNet‑34’를 프레임‑레벨 특징 추출기로 사용한다. 이는 22 M 파라미터를 갖는 기존 ResNet‑34 대비 약 3 M 파라미터만을 사용하면서도 2‑D 스펙트로그램에서 효과적인 로컬 패턴을 학습한다. 둘째, NetVLAD 혹은 GhostVLAD 레이어를 통해 시간 축상의 특징을 가변 길이 입력에서도 고정 차원의 임베딩으로 집계한다. NetVLAD는 K개의 클러스터 중심을 학습하고, 각 프레임 특징을 소프트 어사인먼트 후 잔차를 누적한다. GhostVLAD는 일부 클러스터를 ‘ghost’로 지정해 최종 벡터에 포함시키지 않음으로써, 잡음이 많은 프레임이 자동으로 ghost 클러스터에 할당되도록 만든다. 집계 후에는 512 D FC 레이어로 차원 축소하고 L2 정규화를 적용한다. **3. 학습 전략** VoxCeleb2 (dev) 데이터(5 994명, 1 M 이상 발화)에서 엔드‑투‑엔드 학습을 수행한다. 입력은 2.5 s 길이의 스펙트로그램(257 × 250)이며, VAD나 침묵 제거 없이 그대로 사용한다. 옵티마이저는 Adam(초기 학습률 1e‑3)이며, 36 epoch마다 10배 감소시켜 수렴한다. 손실 함수는 기본 Softmax와 각도 마진을 도입한 AM‑Softmax를 비교한다. AM‑Softmax는 m = 0.4, s = 30을 사용해 화자 간 각도 차이를 확대한다. **4. 실험 및 결과** - **베이스라인 대비**: Thin‑ResNet + NetVLAD + Softmax는 VoxCeleb1 테스트에서 EER 3.57%를 기록, 기존 ResNet‑34 + Contrastive(4.19%)보다 크게 앞선다. AM‑Softmax 적용 시 EER 3.32%까지 개선된다. - **GhostVLAD 효과**: GhostVLAD(클러스터 8, ghost 2) 사용 시 EER 3.22%로 약간의 추가 이득을 보이며, 특히 잡음이 많은 구간을 효과적으로 억제한다는 정성적 분석이 가능하다. - **클러스터 수 민감도**: K = 8~14, G = 2 조합 모두 3.2~3.4% 수준의 EER을 유지, 즉 모델이 클러스터 수에 크게 의존하지 않음을 확인했다. - **길이 의존성**: 테스트 발화 길이를 2 s부터 6 s까지 변화시켰을 때 EER이 7.97%→3.39%로 감소, 긴 발화가 잡음·침묵 비율을 낮추어 성능을 크게 향상시킨다. **5. 논의** 제안 모델은 파라미터 효율성(3 M)과 성능(최고 3.22% EER) 양면에서 기존 최첨단 방법을 능가한다. NetVLAD/GhostVLAD는 가변 길이 입력을 자연스럽게 처리하면서도 잡음에 대한 내성을 제공한다. 다만 현재는 오프라인 배치 학습에 초점을 맞추었으며, 실시간 스트리밍 상황에서의 온라인 VLAD 업데이트와 메모리 제한 환경에 대한 추가 연구가 필요하다. 또한, 현재는 코사인 유사도 기반 검증만을 사용했으므로, PLDA와 같은 고차원 검증기법과 결합했을 때의 시너지 효과도 탐색할 가치가 있다. **6. 결론** 본 논문은 얇은 ResNet과 사전 학습 가능한 VLAD 계열 집계 레이어를 결합한 새로운 화자 인식 파이프라인을 제시한다. 파라미터 수를 크게 줄이면서도 가변 길이와 잡음에 강인한 임베딩을 학습할 수 있음을 실험을 통해 입증하였다. 또한 발화 길이가 길수록 성능이 향상된다는 실증적 결과는 ‘와일드’ 환경에서 데이터 전처리 및 모델 설계에 중요한 지침을 제공한다. 향후 연구는 온라인 집계, 다중 도메인 적응, 그리고 고차원 검증 모델과의 통합을 통해 실용성을 더욱 높일 수 있을 것으로 기대된다.