고차 상호작용으로 음성 딥페이크 탐지 혁신

초록

**
본 논문은 오디오 딥페이크 탐지에서 기존의 로컬·쌍별 관계만을 활용하는 한계를 극복하고, 다중 특징 간의 고차 상호작용(HOI)을 명시적으로 모델링하는 하이퍼그래프 기반 프레임워크 HyperPotter를 제안한다. O‑information 이론을 통해 합성 음성에 내재된 시너지 정보를 정량화하고, 클래스‑aware 프로토타입 초기화를 이용해 클러스터 기반 하이퍼엣지를 구성한다. 11개 데이터셋에서 평균 22.15%의 상대적 성능 향상을, 4개 교차‑도메인 데이터셋에서 13.96%의 절대적 우위를 달성함으로써 고차 관계가 탐지 일반화에 크게 기여함을 입증한다.

**

상세 분석

**
HyperPotter는 오디오 딥페이크 탐지에 고차 상호작용을 도입한 최초의 시도라 할 수 있다. 기존 연구들은 주로 CNN, Transformer, 혹은 이진 그래프 기반의 어텐션 메커니즘을 사용해 로컬 패턴이나 쌍별 상관관계에 의존하였다. 이러한 접근법은 특징 간의 중복 정보를 효율적으로 포착하지만, 서로 다른 차원(시간, 스펙트럼, 잠재 표현)에서 동시에 발생하는 미세한 변형을 포착하는 데 한계가 있다. 논문은 이를 보완하기 위해 O‑information(Ω) 이론을 차용한다. Ω>0이면 시스템이 중복‑지배적, Ω<0이면 시너지‑지배적이라고 정의하고, 딥페이크 음성은 Ω<0, 즉 시너지‑지배적 특성을 가진다고 가정한다.

이를 실현하기 위해 HyperPotter는 두 단계의 핵심 모듈을 설계한다. 첫 번째는 관계 아티팩트 증폭(Relational Artifact Amplification) 모듈로, 하이퍼엣지에 포함된 노드들의 멤버십 가중치를 어텐션 스코어와 결합해 시너지 정보를 강조한다. 두 번째는 클래스‑aware 프로토타입 초기화이다. 각 클래스(진짜/가짜)마다 대표 프로토타입을 사전 학습된 임베딩 클러스터링으로 추출하고, 이 프로토타입을 초기 하이퍼엣지 중심점으로 사용한다. 이렇게 하면 하이퍼엣지가 의미론적으로 일관된 그룹을 형성하면서도 클래스 구분에 민감하게 된다.

하이퍼엣지는 Fuzzy C‑Means(FCM) 클러스터링을 통해 소프트하게 구성된다. 노드 i가 하이퍼엣지 k에 속할 확률 u_ik는 거리 d_ik와 퍼지 파라미터 m에 의해 결정되며, 이는 노드가 여러 하이퍼엣지에 동시에 기여할 수 있게 해 고차 관계의 연속성을 보장한다. 이후 **Hypergraph Attention GNN(HA‑GNN)**이 노드‑투‑하이퍼엣지, 하이퍼엣지‑투‑노드 메시지를 순환하면서 고차 정보를 집계한다. 이때 어텐션 가중치는 증폭 모듈에서 얻은 아티팩트 스코어와 결합돼, 시너지‑중심 특징이 강조된 표현을 생성한다.

실험에서는 13개의 공개 데이터셋(11개는 동일 도메인, 4개는 교차 도메인)에서 기존 최첨단 모델(AASIST, RawNet2‑GAT‑ST, ViHGNN 등) 대비 평균 13.96%의 절대적, 22.15%의 상대적 성능 향상을 기록했다. 특히 화자 변동, 언어 변이, 다양한 합성 알고리즘(Voice‑Clone, WaveGlow 등) 상황에서도 높은 ROC‑AUC와 낮은 EER을 유지했으며, 프로토타입 기반 초기화가 하이퍼엣지의 안정성을 크게 높인 것으로 확인되었다.

결론적으로, HyperPotter는 고차 시너지 정보를 명시적으로 모델링함으로써 기존의 중복‑지배적 접근법이 놓친 미세한 합성 아티팩트를 효과적으로 포착한다. 이는 오디오 딥페이크 탐지뿐 아니라, 다중 모달리티·다중 스케일 관계를 필요로 하는 다른 보안·인식 분야에도 적용 가능성을 시사한다.

**