인공지능 생성 이미지 탐지를 위한 세밀한 지각 아티팩트 벤치마크

초록

본 논문은 AI가 생성한 이미지(AIGI) 탐지의 해석 가능성을 높이기 위해, 저수준 왜곡부터 고수준 의미 오류, 인지 수준의 반사실(counterfactual)까지 7가지 유형으로 구분한 픽셀‑단위 지각 아티팩트 주석을 제공하는 X‑AIGD 벤치마크를 제안한다. 실험을 통해 기존 탐지기들이 이러한 아티팩트를 거의 활용하지 않으며, 아티팩트 검출을 보조 과제로 추가해도 여전히 비해석적 특징에 의존한다는 점을 확인한다. 마지막으로 모델의 어텐션을 아티팩트 영역에 정렬하면 해석 가능성과 일반화 성능이 동시에 향상됨을 보인다.

상세 분석

X‑AIGD는 현재 AI‑Generated Image (AIGI) 탐지 연구에서 가장 큰 결핍인 ‘해석 가능성’ 문제를 근본적으로 해결하려는 시도이다. 기존 데이터셋은 대규모의 진·가짜 이미지 쌍을 제공하지만, 이미지 내에 존재하는 구체적인 시각적 단서—즉, 인간이 인지할 수 있는 아티팩트—에 대한 정밀한 라벨링이 부족했다. 논문은 이를 보완하기 위해 세 단계(저수준 왜곡, 고수준 의미 오류, 인지‑레벨 반사실)로 구성된 계층적 분류 체계를 제시하고, 각 단계에 속하는 7개의 구체적 카테고리를 정의한다. 저수준 왜곡은 엣지 불일치, 비정상 텍스처, 색상 불일치 등을 포함하고, 고수준 의미 오류는 객체 구조 손상, 비논리적 배치 등을, 인지‑레벨 반사실은 물리 법칙 위반이나 상식에 어긋나는 관계 등을 다룬다.

데이터 수집은 4,000개의 실제 사진을 기반으로 13개의 최신 텍스트‑조건부 이미지 생성 모델(F​LUX·Stable Diffusion 3.5 등)과 커뮤니티 파인‑튜닝 모델을 활용해 52,000개의 가짜 이미지를 생성한 뒤, 각 모델별 200장씩을 샘플링해 총 3,035장의 고품질 주석 데이터를 확보한다. 주석 과정은 12명의 전문 라벨러가 3라운드에 걸쳐 픽셀‑레벨 폴리곤 마스크와 카테고리 라벨을 부여했으며, 신뢰도 점수 조사에서 평균 0.85 이상의 높은 일관성을 보였다.

실험에서는 (1) 기존 엔드‑투‑엔드 탐지기(예: CNNSpot, DR CT‑ConvB 등)의 어텐션 맵을 아티팩트 마스크와 교차 검증해 실제 아티팩트에 대한 의존도를 측정했으며, 대부분의 모델이 저수준 왜곡에 거의 반응하지 않음을 확인했다. (2) 아티팩트 검출을 보조 과제로 추가한 멀티‑태스크 학습(전이 학습·공동 학습)에서는 특정 저수준 왜곡에 대한 감지율이 약간 상승했지만, 전체 인증 정확도 향상은 미미했고, 여전히 비해석적 특징(예: 고차원 패턴)에 크게 의존했다. (3) 어텐션 정렬 손실(attention alignment loss)을 도입해 모델이 아티팩트 영역에 집중하도록 강제했을 때, 교차‑데이터셋(다른 생성 모델)에서의 정확도가 평균 4.2%p 상승했고, IoU 기반 아티팩트 검출 점수도 유의미하게 개선되었다. 다만, 어텐션 정렬 강도가 과도하면 일반적인 이미지 특징 학습이 억제돼 전체 성능이 감소하는 trade‑off가 존재한다는 점을 실험적으로 입증했다.

이러한 결과는 현재 AIGI 탐지 모델이 ‘시각적 힌트’를 충분히 활용하지 못하고, 데이터셋에 내재된 통계적 편향에 의존한다는 근본적인 문제를 드러낸다. X‑AIGD는 모델이 인간이 직관적으로 인식하는 아티팩트를 근거로 판단하도록 유도함으로써, 신뢰성·투명성을 동시에 확보할 수 있는 연구 기반을 제공한다. 또한, 아티팩트‑중심 어텐션 정렬이 일반화 성능을 높이는 효과가 있음을 보여, 향후 ‘설명 가능한’ AIGI 탐지 모델 설계에 중요한 설계 원칙으로 작용할 가능성을 시사한다.