첫 인사에서 음성 딥페이크 탐지 초단시간 모델 S MGAA

초록

본 논문은 통신 환경에서 발생하는 코덱 압축·패킷 손실 등 실세계 왜곡을 고려하여 0.5~2초 길이의 초단시간 음성 입력에서 딥페이크를 탐지하는 경량 모델 S‑MGAA를 제안한다. 기존 MGAA에 픽셀‑채널 강화 모듈(PCEM)과 주파수 보상 강화 모듈(FCEM)을 추가해 시간‑주파수 영역의 미세한 위조 신호를 증폭하고, 주파수 스케일링을 통해 부족한 시간 정보를 보완한다. 9개 최신 기준 모델을 동일 조건에서 재현·평가한 결과, 모든 길이와 왜곡 조건에서 평균 EER을 크게 낮추었으며, FLOPs·파라미터·학습 시간·실시간 지연(RTF) 측면에서도 우수한 효율성을 보였다.

상세 분석

S‑MGAA는 기존 멀티‑Granularity Adaptive Time‑Frequency Attention(MGAA) 구조를 초단시간 음성에 맞게 재설계한 점이 가장 큰 특징이다. 초단시간 클립은 시간 축에서 제공되는 정보가 극히 제한적이기 때문에, 위조 음성의 미세한 스펙트럼 변형을 포착하기 어렵다. 이를 해결하기 위해 저자들은 두 가지 전용 모듈을 도입하였다. 첫 번째인 픽셀‑채널 강화 모듈(PCEM)은 픽셀 수준 탐지기(PD), 채널‑와이즈 증폭기(CA), 그리고 시간‑주파수 결합기(TFC)를 결합해 입력 텐서의 각 위치와 채널에 대한 중요도를 동시 학습한다. 특히 깊이별 3×3 depthwise convolution과 GELU‑sigmoid 연쇄를 통해 고주파 잡음에 강인한 마스크를 생성하고, 전역 평균 풀링 기반 채널 압축·확장으로 채널 간 상관관계를 강조한다. 두 번째인 주파수 보상 강화 모듈(FCEM)은 주파수 축의 다중 스케일 브랜치를 20, 15, 10 길이의 1‑D convolution으로 구성하고, 최대·평균 풀링을 병합해 전역 주파수 패턴을 포착한다. 이후 깊이별 7×1 depthwise convolution을 이용한 주파수‑시간 어텐션(A)으로 시간 축에 부족한 정보를 보완한다. 이러한 설계는 “시간이 짧아도 주파수 차원에서 충분히 풍부한 특징을 끌어낸다”는 원칙에 기반한다.

실험 설계에서도 주목할 점이 있다. 저자들은 6개의 공개 데이터셋을 통합해 1.8M 이상의 발화(진짜·가짜)를 수집하고, 30가지 통신 왜곡(코덱 압축·패킷 손실)을 적용한 Dcom 데이터베이스를 구축했다. 평가에는 ASVspoof2021 Logical Access 기반 ADD‑C 테스트셋을 사용해 C0~C5(깨끗함부터 고강도 왜곡까지) 6가지 조건을 모두 검증하였다. 동일 학습 파이프라인(배치 256, 5 epoch, AdamW, cosine annealing) 하에 LCNN, RawNet2, AASIST, AASIST‑L, RawGAT‑ST, FC‑LFCC, MGAA‑LFCC/CQCC/MFCC 등 9개 SOTA 모델을 재현했으며, 모든 모델을 동일 입력 길이(0.5, 1, 1.5, 2초)와 동일 TF 특성(LFCC, CQCC, MFCC)으로 평가했다.

결과는 두드러졌다. 특히 0.5초 조건에서 S‑MGAA‑MFCC는 평균 EER을 2.70% 수준으로 낮추어, 가장 좋은 베이스라인인 RawGAT‑ST(5.60%) 대비 52% 이상 개선하였다. 주파수 종류별로도 일관된 향상이 관찰됐으며, MFCC가 가장 큰 절대 개선을 보였다. MGAA와 비교했을 때는 28~71% 수준의 EER 감소를 기록했으며, 이는 PCEM과 FCEM이 각각 시간‑주파수 미세 신호 증폭과 주파수 보상 역할을 효과적으로 수행했음을 의미한다.

복잡도 측면에서도 S‑MGAA는 0.020.08 GFLOPs, 파라미터 0.992.14M, 학습 시간 0.250.49h, RTF 0.380.10을 달성해, 기존 MGAA가 저렴한 FLOPs를 유지했지만 RTF 변동이 큰 반면, S‑MGAA는 모든 입력 길이에서 안정적인 실시간 성능을 제공한다. 이는 경량화와 효율성을 동시에 만족시키는 설계가 실제 모바일·IoT 디바이스에 바로 적용 가능함을 시사한다.

전반적으로 이 논문은 “초단시간, 실시간, 저전력”이라는 세 축을 모두 충족시키는 음성 딥페이크 탐지 프레임워크를 제시했으며, PCEM·FCEM이라는 모듈형 설계가 다른 시간‑주파수 기반 모델에도 일반화 가능성을 열어준다. 향후 연구에서는 멀티‑모달(영상·텍스트) 결합, 적응형 코덱 모델링, 그리고 온라인 스트리밍 환경에서의 연속 감지 파이프라인 구축 등으로 확장할 여지가 크다.