이중 주파수 브랜치와 재구성 슬라이딩 윈도우 어텐션을 활용한 AI 생성 이미지 검출

초록

본 논문은 GAN·디퓨전 모델 등으로 생성된 고품질 가짜 이미지를 탐지하기 위해, 로컬 윈도우에 제한된 어텐션을 재구성하고, DWT 4개 서브밴드와 FFT 위상 정보를 결합한 이중 주파수 브랜치를 제안한다. 재구성 슬라이딩 윈도우 어텐션은 지역 요소 간 중요도와 상호 의존성을 효과적으로 모델링하며, 주파수 도메인 다중 관점을 통해 미세 위조 흔적을 풍부하게 추출한다. 65개의 생성 모델을 포함한 대규모 데이터셋에서 기존 최첨단 방법 대비 2.13% 높은 정확도를 달성하였다.

상세 분석

이 논문은 AI‑Generated Image Detection 분야에서 두 가지 핵심 한계를 동시에 해결하고자 한다. 첫 번째는 기존 어텐션 메커니즘이 전체 이미지 혹은 큰 패치 수준에서 가중치를 할당하지만, 윈도우 내부의 픽셀 간 중요도 차이와 복합적인 의존성을 충분히 포착하지 못한다는 점이다. 이를 보완하기 위해 저자들은 Sliding Window 기반의 Local Attention을 도입하고, 윈도우 내부의 피처를 재구성(reconstruction)하는 절차를 추가하였다. 구체적으로, 입력 피처를 1×1 Conv와 3×3 Depthwise Separable Conv로 전처리한 뒤, 각 채널을 DWT‑based tiling을 통해 4×(H·W) 형태로 변형하고, 4×4 크기의 슬라이딩 윈도우를 적용한다. 이 과정에서 서로 다른 주파수 밴드의 정보를 동시에 포함하면서도 인접 요소 간의 관계를 유지한다. 결과적으로 어텐션 스코어가 지역 내 세부 구조에 더 민감해져, 미세한 위조 흔적을 놓치지 않는다.

두 번째 한계는 대부분의 기존 연구가 단일 주파수 도메인(주로 FFT 혹은 DCT)만을 활용해 위조 특징을 추출한다는 점이다. 저자는 DWT의 4개 서브밴드(LL, LH, HL, HH)와 FFT의 위상(Phase) 정보를 병렬로 처리하는 Dual Frequency Branch를 설계하였다. DWT는 고·저주파 텍스처 정보를 제공해 국소적인 변형을 포착하고, FFT 위상은 전역적인 구조적 의존성을 반영한다. 특히 위상 교환 실험을 통해 위상이 위조 흔적을 더 많이 포함한다는 사실을 실증하였다. 두 주파수 흐름을 각각 독립적인 브랜치에서 추출한 뒤, 최종 단계에서 concat 및 MLP를 통해 통합함으로써, 서로 보완적인 특징이 결합된 풍부한 표현을 얻는다.

전체 아키텍처는 Vision Transformer 기반의 백본에 위 두 모듈을 삽입한 형태이며, 최종 클래스ifier는 간단한 Fully‑Connected 레이어로 구성된다. 실험에서는 65개의 서로 다른 생성 모델(StyleGAN, Stable Diffusion, Midjourney 등)에서 추출한 1M 이상 이미지에 대해 교차‑도메인 평가를 수행했으며, 기존 C2P‑CLIP, AIDE 등과 비교해 정확도 5.8%~7.0% 향상을 보였다. 특히, 동일 모델 내·외부에서의 일반화 성능이 크게 개선되어, 실제 현장에서 다양한 AI 생성 이미지에 대한 탐지 시스템으로 활용 가능함을 입증하였다.