멀티헤드 셀프 어텐션을 활용한 세밀한 프레임 모델링으로 음성 딥페이크 탐지 강화

초록

본 논문은 Transformer 기반 음성 딥페이크 탐지 모델에 프레임 단위의 정밀한 정보를 부여하기 위해, 다중 헤드 투표(MHV)와 교차층 정제(CLR) 모듈을 결합한 Fine‑Grained Frame Modeling(FGFM) 방식을 제안한다. MHV는 각 어텐션 헤드가 강조하는 중요한 프레임을 선택하고, CLR은 여러 층에서 선택된 프레임을 종합·정제하여 최종 분류 토큰에 통합한다. ASVspoof 2021 LA·DF와 In‑the‑Wild 데이터셋에서 기존 XLSR‑Conformer 대비 각각 0.90 %, 1.88 %, 6.64 %의 EER를 달성하며, 특히 비정형 환경인 ITW에서 강인성을 입증한다.

상세 분석

본 연구는 Transformer 기반 음성 딥페이크 탐지에서 흔히 간과되는 “프레임‑레벨 세밀성”을 체계적으로 보완한다는 점에서 의미가 크다. 기존 XLSR‑Conformer와 같은 모델은 MHSA를 통해 전체 시퀀스에 대한 전역적인 컨텍스트를 학습하지만, 어텐션 가중치가 평균화되는 과정에서 짧고 국소적인 위조 아티팩트가 희석될 위험이 있다. 이를 해결하기 위해 저자는 두 단계의 모듈을 설계하였다.

첫 번째인 Multi‑Head Voting(MHV) 모듈은 각 Conformer 블록의 K개의 어텐션 헤드가 생성하는 클래스 토큰‑프레임 간 어텐션 맵 Aₖ∈ℝᵀ를 활용한다. 각 헤드가 “약한 학습자” 역할을 수행하도록 보고, 헤드별로 상위 v개의 프레임을 투표 방식으로 선택한다. 선택된 프레임은 이진 스코어 맵 Mₖ에 1로 표시되고, K개의 맵을 합산한 뒤 1‑D Gaussian‑like 커널 G와 컨볼루션을 수행해 M*를 얻는다. 이 과정은 잡음 프레임을 억제하고, 에너지 높은 구간에 집중하도록 설계되었으며, 실험적으로 v=24가 4초 길이 음성에 최적임을 확인하였다.

두 번째인 Cross‑Layer Refinement(CLR) 모듈은 블록 간 정보를 교차하게 통합한다. (L+1)번째 블록의 입력에 기존 L개의 블록에서 선택된 프레임과 현재 클래스 토큰을 연결하고, 이 출력 f_cross를 다시 MHV에 투입해 추가 프레임을 선정한다. 이후 (L+2)번째 블록에 f_cross와 f_refined를 교차 어텐션 형태로 결합하고, 경량 D‑AFF(동적 집계 피드‑포워드) 블록을 통해 두 흐름을 융합한다. 최종적으로 강화된 클래스 토큰이 스푸핑 여부를 판별한다.

기술적 기여는 크게 세 가지로 요약된다. ① 어텐션 헤드별 프레임 선택을 통해 “프레임‑레벨 투표” 메커니즘을 도입, 헤드 특성을 활용한 선택적 강조를 구현. ② 교차층 정제로 서로 다른 깊이의 정보를 재조합, 단일 층에서 발생할 수 있는 정보 손실을 보완. ③ Gaussian 커널 기반 스코어 정제로 잡음 프레임을 억제, 선택된 프레임의 품질을 향상.

실험 결과는 설계의 타당성을 뒷받침한다. ASVspoof 2021 LA에서는 기존 XLSR‑Conformer(0.97 % EER) 대비 0.90 %로 7.2 % 상대 개선을, DF에서는 2.58 %→1.88 %(27.1 % 개선), ITW에서는 8.42 %→6.64 %(21.1 % 개선)를 기록했다. 특히 ITW와 같이 사전 조건이 크게 다른 데이터셋에서도 경쟁 모델들을 앞서는 성능을 보이며, 제안 모듈이 Transformer와 Conformer 양쪽 구조에 일반화 가능함을 입증했다. Ablation 연구에서는 D‑AFF 제거 시 평균 5 %~8 % 성능 저하, MHV 강화 단계(가우시안 컨볼루션) 제거 시 5 %~15 % 감소가 관찰돼 각각의 구성 요소가 독립적으로 기여함을 확인했다.

전반적으로 본 논문은 MHSA 기반 음성 딥페이크 탐지 모델에 “프레임‑레벨 선택·정제” 메커니즘을 도입함으로써, 미세하고 국소적인 위조 신호를 효과적으로 포착한다는 점에서 기존 연구와 차별화된다. 향후 더 큰 규모의 사전학습 모델이나 실시간 시스템에 적용할 경우, 선택 프레임 수(v)와 Gaussian 커널 파라미터를 동적으로 조정하는 메커니즘을 추가하면 더욱 유연한 적용이 가능할 것으로 기대된다.