주파수 잔차 분석을 활용한 얼굴 변형 공격 탐지

초록

본 논문은 얼굴 이미지의 푸리에 스펙트럼에서 자연적인 f⁻α 감소 추세를 제거한 잔차를 특징으로 사용하고, 전역·지역 영역별 잔차를 마코프 랜덤 필드(MRF)로 결합해 단일 이미지 기반 변형 공격(S‑MAD)을 경량화된 방식으로 높은 교차‑데이터셋 일반화 성능을 달성한다.

상세 분석

FD‑MAD는 얼굴 이미지가 갖는 고유한 주파수 스펙트럼 규칙성을 활용한다. 자연 이미지의 푸리에 크기 스펙트럼은 로그‑로그 좌표에서 거의 직선 형태를 보이며, 이는 f⁻α 형태의 파워‑law(α는 스펙트럼 감쇠 지수)로 모델링된다. 변형(모핑) 과정에서는 기하학적 워핑과 픽셀 레벨 블렌딩이 발생해 고주파와 중주파 영역에 비정상적인 에너지 변동을 초래한다. 저자는 이 차이를 강조하기 위해 전역 및 지역별 스펙트럼을 로그‑스케일로 변환한 뒤, 방사형 주파수 밴드별 평균값을 추출하고, 선형 회귀를 통해 f⁻α 베이스라인을 추정한다. 베이스라인을 뺀 잔차 r(f)=logS(f)−(a+b·logf)는 이미지마다 고유한 ‘주파수 잔차 프로파일’이 된다. 이 프로파일은 색채 채널을 결합하고 PCA 차원 축소를 거쳐 컴팩트한 벡터 x_r 로 변환된다. 전역 잔차는 SVM(또는 로지스틱 회귀)으로 분류되어 전역 점수 s_global을 산출한다.

지역 수준에서는 얼굴 랜드마크 검출기로 눈(좌·우), 코, 입 네 개의 의미론적 영역을 추출하고, 동일한 잔차 추출 파이프라인을 적용한다. 각 영역별 특징 x_r^region은 별도의 로지스틱 회귀 분류기로부터 사후 확률 p_r(z=1|x) 를 얻으며, 이를 로그‑잠재 에너지 ψ_r(z)=−log p_r 로 변환한다.

이후 MRF가 각 영역을 노드로, 인접 영역 간의 일관성을 페어와이즈 포텐셜로 정의한다. 에너지 함수 E(z)=∑r ψ_r(z_r)+λ∑{(r,s)} I(z_r≠z_s) 를 최소화함으로써 전역적인 라벨 일관성을 강제한다. 정확한 추론을 위해 그래프 컷 또는 라우드-라프스 알고리즘을 사용한다. 최종 결정은 전역 점수와 MRF에서 얻은 지역 합성 점수를 가중 평균하여 최종 morph score를 만든다.

실험에서는 SMDD 합성 데이터만으로 학습하고, FRLL‑Morph와 MAD22의 다양한 변형(랜드마크 기반, GAN, Diffusion) 테스트셋에 대해 교차‑데이터셋 평가를 수행했다. FD‑MAD는 FRLL‑Morph에서 평균 EER 1.85%를 기록해 기존 S‑MAD 딥러닝 모델들을 크게 앞섰으며, MAD22에서는 평균 EER 6.12%로 2위에 올랐다. 특히 BPCER이 낮은 상태에서 APCER을 5% 이하로 유지하는 등 운영 환경에 적합한 오류 균형을 보여준다.

Ablation 연구에서는 (1) 전역 잔차만 사용했을 때와 (2) 지역 잔차만 사용했을 때, (3) MRF 없이 단순 평균을 적용했을 때의 성능 차이를 분석했다. 결과는 전역·지역 잔차가 서로 보완적이며, MRF 기반 구조적 융합이 특히 GAN 기반 고품질 모프에서 오류를 크게 감소시킨다는 것을 확인한다. 또한 t‑SNE 시각화는 잔차 특징 공간이 bona‑fide와 morph 사이에 명확한 클러스터를 형성함을 보여, 해석 가능성과 모델 투명성을 강조한다.

이 논문의 핵심 기여는 (i) 푸리에 도메인에서 자연 스펙트럼 베이스라인을 제거한 잔차 특징을 제안, (ii) 의미론적 얼굴 부위별 잔차를 MRF로 구조화하여 전역‑지역 일관성을 확보, (iii) 경량화된 설계로도 교차‑데이터셋·교차‑모프 상황에서 최첨단 성능을 달성했다는 점이다. 코드 공개와 함께 실시간 배포가 가능한 점도 실용적 가치를 높인다.