계층적 대비 주의 기반 오디오 딥페이크 탐지

초록

HierCon은 XLS‑R의 다층 표현을 시간‑층‑그룹 3단계 계층적 주의 메커니즘과 마진 기반 대비 학습으로 결합해, 합성 음성의 미세한 아티팩트를 포착한다. ASVspoof 2021 DF와 In‑the‑Wild 데이터셋에서 각각 1.93 %와 6.87 %의 EER를 달성하며 기존 SLS 대비 36.6 %·22.5 %의 상대 개선을 보인다.

상세 분석

본 논문은 최신 TTS·음성 변환 모델이 만들어내는 고품질 합성 음성을 탐지하기 위해, 사전학습된 대규모 SSL 모델인 XLS‑R의 24개 트랜스포머 층을 그대로 활용한다. 기존 연구들은 각 층을 독립적으로 가중합하거나 단순히 스칼라 가중치를 학습하는데 그쳤으며, 이는 (1) 시간 축에서 특정 프레임에 집중하지 못하고, (2) 얕은 층이 포착하는 음향 특성과 깊은 층이 포착하는 의미·프로소디 특성 간의 상호작용을 무시한다는 한계를 가진다.

HierCon은 이러한 문제를 세 단계의 계층적 주의로 해결한다.
1️⃣ 시간 주의(Temporal Attention): 각 층의 프레임별 1024‑차원 벡터에 두‑층 MLP를 적용해 프레임 가중치 αₜ를 학습하고, 가중합을 통해 층 토큰 zₗ을 만든다. 이는 합성 음성에서 흔히 나타나는 중간 구간의 비정상적 스펙트럼 변화를 강조한다.
2️⃣ 그룹 내부 주의(Intra‑Group Attention): 연속된 3개 층을 하나의 그룹으로 묶어 8개의 그룹을 형성한다. 그룹 내 토큰을 AttnPool과 MLP로 결합해 z′ₖ를 얻음으로써, 비슷한 추상화 수준(예: 저음향, 중간 프로소디, 고의미) 사이의 상호보완적 정보를 학습한다.
3️⃣ 그룹 간 주의(Inter‑Group Attention): 8개의 그룹 표현을 다시 AttnPool·MLP로 통합해 최종 발화 임베딩 u를 만든다. 이 단계는 서로 다른 생성 파이프라인이 남기는 아티팩트가 어느 추상화 레벨에 나타나는지를 자동으로 파악한다.

또한, **마진 기반 대비 학습(Margin‑Based Contrastive Learning)**을 도입해 임베딩 공간에 도메인 불변성을 부여한다. 같은 클래스(실제·합성) 샘플 간 코사인 유사도 평균 (\bar{s}^{+})와 다른 클래스 간 평균 (\bar{s}^{-}) 사이에 마진 m을 강제함으로써, 클래스 구분은 물론 서로 다른 생성 기술·녹음 환경에 대한 일반화 능력을 강화한다. BCE 손실과 대비 손실을 가중치 λ₍con₎ = 0.05로 결합해 학습한다.

실험에서는 XLS‑R + SLS(기존 스칼라 가중치)와 비교해, 계층적 주의만 적용했을 때 LA 데이터셋에서 23.5 % 상대 개선, ITW에서는 미미한 개선을 보였지만 DF에서는 약간 악화되는 현상이 관찰되었다. 이는 구조적 모델링만으로는 데이터셋 특화 아티팩트에 과적합될 위험이 있음을 시사한다. 대비 학습을 추가함으로써 모든 벤치마크에서 성능이 크게 상승했으며, 특히 ITW에서 27.7 % 상대 개선을 달성했다.

시각화 결과는 (a) 시간 주의가 중간 구간에 집중, (b) intra‑group 주의가 얕은 층에서 깊은 층으로 가중치가 이동, (c) inter‑group 주의가 중간 레이어 그룹에 가장 높은 가중치를 부여함을 보여준다. 이는 합성 음성의 아티팩트가 주로 음향‑의미 사이의 전이 구간에 존재한다는 기존 포렌식 연구와 일치한다.

요약하면, HierCon은 (1) 다층 SSL 표현을 시간‑층‑그룹 삼중계층으로 정교히 가중합, (2) 대비 학습으로 도메인 불변 임베딩을 유도, (3) 해석 가능한 주의 맵을 제공함으로써, 최신 고품질 딥페이크 음성에 대한 검출 정확도와 일반화 능력을 크게 향상시킨다.