컴포스포프: 구성요소 수준 오디오 위조 탐지를 위한 데이터셋과 공동 학습 프레임워크

초록

본 논문은 음성 및 환경음 등 개별 오디오 구성요소만을 위조하는 새로운 위조 형태인 컴포넌트‑레벨 스푸핑을 다룬다. 이를 위해 5가지 조합으로 이루어진 2,500개의 샘플을 제공하는 CompSpoof 데이터셋을 구축하고, UNet 기반 분리 네트워크와 XLSR‑AASIST 기반 스푸핑 탐지 모델을 각각 음성·환경음에 적용한 후, 분리와 탐지를 공동 학습하는 프레임워크를 제안한다. 실험 결과, 제안 방법이 기존 단일‑모델 대비 F1 점수에서 5~10%p 이상 향상됨을 보인다.

상세 분석

CompSpoof 논문은 기존 ASVspoof·ADD 계열 데이터셋이 “전체 utterance가 진짜 또는 위조”라는 이진 가정을 전제로 한다는 한계를 정확히 짚어낸다. 실제 서비스 환경에서는 음성만 합성하거나 배경음만 변조하는 경우가 늘어나고, 이러한 부분 위조는 청취자에게 거의 구분이 어려워 보안 위협이 된다. 저자들은 이러한 문제를 해결하기 위해 (1) 스피치와 환경음 두 개의 독립적인 소스 풀을 구축하고, (2) 각각을 진·위조 버전으로 매칭시켜 5가지 클래스를 정의하였다. 클래스 0은 완전 진짜, 1은 양쪽 모두 진짜, 2·3은 한쪽만 위조, 4는 양쪽 모두 위조한다. 데이터는 16 kHz로 통일하고, SNR을 조절해 스피치와 배경음의 상대적 강도를 제어함으로써 실제 녹음 상황을 모사한다.

제안된 프레임워크는 크게 네 단계로 구성된다. 첫 번째는 XLSR‑AASIST 기반의 이진 혼합 검출기로, 입력이 “혼합 여부”만 판단한다. 두 번째는 STFT‑domain UNet으로, 복소수 마스크를 예측해 스피치를 추출하고, 남은 잔차에 대해 tanh 기반 적응형 소프트 마스크를 적용해 환경음을 복원한다. 여기서 α 스케일링 팩터와 tanh 함수는 스피치 누수를 최소화하면서 환경음의 다양성을 보존하도록 설계되었다.

세 번째와 네 번째는 각각 스피치와 환경음 전용 스푸핑 탐지 모델이다. 두 모델 모두 XLSR‑AASIST 구조를 사용하지만, 입력이 분리된 전용 신호이므로 특화된 특징을 학습한다. 중요한 점은 분리 네트워크와 탐지 모델을 동시에 학습한다는 점이다. 손실 함수는 (i) MSE 기반 분리 손실, (ii) 혼합 검출 이진 교차 엔트로피, (iii) 각 컴포넌트별 스푸핑 분류 교차 엔트로피, (iv) KL‑divergence 기반 일관성 손실을 가중합한 총합이다. κ 파라미터를 통해 분리 손실의 비중을 조절함으로써, 분리 과정이 스푸핑 신호를 과도하게 억제하지 않도록 한다.

실험에서는 4 s 윈도우·2 s 홉으로 청크를 나누어 세그먼트‑레벨 예측을 수행하고, 다수결로 파일‑레벨 라벨을 결정한다. Baseline (XLSR‑AASIST 단일 모델) 대비 SEF(분리만 적용)에서는 일부 클래스에서 성능이 급락했는데, 이는 분리 과정이 스푸핑 특성을 손상시켰기 때문이다. 반면 SEF+JL(공동 학습)에서는 전체 평균 F1이 0.84→0.91으로 크게 상승했으며, 특히 클래스 2·3(한쪽만 위조)에서 0.835→0.916까지 개선되었다. 세그먼트‑레벨에서도 스피치 탐지 F1가 0.720→0.863, 환경음 탐지 F1가 0.718→0.849로 상승했다. 이는 공동 학습이 분리된 신호에 스푸핑 관련 정보를 보존하도록 유도함을 입증한다. 또한 환경음 탐지 모델이 상대적으로 낮은 성능을 보인 점은, 현재 XLSR‑AASIST가 음성 특화 모델임을 시사하며, 향후 환경음 전용 프리트레인 모델 개발 필요성을 강조한다.

전체적으로 이 논문은 (1) 새로운 컴포넌트‑레벨 위조 정의, (2) 실용적인 데이터셋 제공, (3) 분리와 탐지를 공동 최적화하는 프레임워크 설계라는 세 축에서 기존 연구와 차별화된 기여를 한다. 특히 보안·포렌식 분야에서 “부분 위조”를 정확히 식별해야 하는 실제 요구에 부합하는 실증적 결과를 제시한다는 점에서 의의가 크다.