와일드스푸프 챌린지를 위한 DFKI‑스피치 SASV 통합 시스템

초록

DFKI‑스피치는 스푸핑 탐지기와 화자 검증 모델을 동시에 운용하는 SASV 프레임워크를 제안한다. 스푸핑 탐지는 사전학습된 wav2vec 2.0‑XL을 프론트엔드로 사용하고, 그래프 신경망 기반 백엔드와 Top‑3 레이어 기반 Mixture‑of‑Experts(MoE) 융합으로 고·저수준 특징을 결합한다. 화자 검증은 2D·1D 멀티스케일 특징을 융합하는 저복잡도 ReDimNet을 SphereFace 손실과 Contrastive Circle 손실로 학습한다. 고정 임포스터 코호트 기반 AS‑Norm과 모델 앙상블을 적용해 최종 성능을 향상시켰으며, WildSpoof 베이스라인 대비 DCF 0.036→0.032, SV‑EER 2.45%→2.20% 등 실질적인 개선을 달성하였다.

상세 분석

본 논문은 실제 환경에서 발생하는 다양한 잡음·채널 변이를 반영한 WildSpoof 데이터셋을 목표로, 스푸핑 탐지와 화자 인증을 하나의 파이프라인에서 동시에 수행하는 Spoof‑aware Automatic Speaker Verification(SASV) 시스템을 설계하였다. 스푸핑 탐지기의 핵심은 대규모 비지도 사전학습 모델인 wav2vec 2.0‑XL(10 24 차원)으로, 음성의 고차원 임베딩을 추출한다. 이후 24개의 트랜스포머 레이어 중 상위 3개 레이어만을 선택적으로 활성화하는 Top‑3 MoE 메커니즘을 도입해, 저수준(음성의 세부 주파수·시간 패턴)와 고수준(음성의 의미적 구조) 정보를 효율적으로 결합한다. 선택된 레이어의 출력은 그래프 신경망(GNN) 기반 AA‑SIST 백엔드에 입력되어, 노드 간 관계를 학습함으로써 스푸핑 특유의 비정상적인 패턴을 포착한다. 이때 바이너리 교차 엔트로피 손실만을 사용해 단순히 스푸핑/정상 여부를 판별한다는 점이 특징이다.

화자 인증 파트에서는 ReDimNet이라는 저복잡도 CNN 구조를 채택하였다. 이 네트워크는 멜 스펙트로그램을 1D 시퀀스 형태와 2D 이미지 형태로 동시에 처리하며, 다중 스케일 ConvNeXt 블록을 통해 다양한 해상도에서 특징을 추출한다. 추출된 1D와 2D 특징은 스칼라 가중치가 적용된 멀티스케일 잔차 연결을 통해 융합되어, 화자 고유의 스펙트럼·시간적 변이를 모두 반영한다. 학습 목표는 SphereFace 손실(각 화자 클래스에 대한 각도 마진을 강화)과 Contrastive Circle 손실을 병합한 형태이며, 후자는 양·음성 페어를 유사도 기반으로 가중치 조정해 어려운 샘플(하드 포지티브·하드 네거티브)에 더 큰 학습 신호를 제공한다. 이러한 손실 설계는 임베딩 공간을 보다 구분 가능하게 만들며, 특히 스푸핑 공격에 대한 내성을 높이는 데 기여한다.

점수 정규화 단계에서는 고정된 임포스터 코호트를 이용한 AS‑Norm을 적용한다. 이는 enrollment과 test 임베딩 간 코사인 유사도에 대해 코호트 평균·표준편차를 이용해 정규화함으로써 채널·노이즈 변동에 대한 강인성을 부여한다. 마지막으로 동일 구조의 여러 모델을 앙상블해 평균 점수를 사용함으로써 개별 모델의 불확실성을 감소시켰다.

실험에서는 WildSpoof의 공식 평가 세트와 공개된 SpoofCeleb 데이터셋을 사용했으며, 데이터 증강으로 MUSAN·RIR·RandomGain을 적용해 훈련 데이터를 다양화하였다. 결과는 베이스라인(AS‑V‑DNN, SKA‑T‑DNN 등) 대비 DCF가 0.036→0.032, SV‑EER이 2.45%→2.20%로 개선되었으며, 특히 스푸핑 탐지와 화자 인증을 통합했을 때 전체 SASV DCF가 0.036→0.032로 의미 있는 감소를 보였다.

강점으로는 (1) self‑supervised wav2vec 2.0‑XL을 활용한 강력한 프론트엔드, (2) Top‑3 MoE를 통한 효율적인 레이어 선택, (3) 1D·2D 멀티스케일 융합과 고차원 각도 마진 손실의 결합, (4) 고정 코호트 기반 AS‑Norm과 모델 앙상블을 통한 안정성 향상이 있다. 한계점은 (1) GNN 백엔드와 MoE 선택 과정이 추가적인 연산 비용을 초래한다는 점, (2) 스푸핑 탐지와 화자 인증을 별도 학습하고 후에 결합하는 구조라 파이프라인 최적화 여지가 남아 있다는 점이다. 향후 연구에서는 엔드‑투‑엔드 방식으로 두 모듈을 공동 학습하거나, 경량화된 GNN 구조를 탐색해 실시간 적용성을 높이는 것이 유망하다.