핸드크래프트 특징 융합으로 AI 생성 이미지 신뢰성 검출

초록

본 논문은 CIFAKE 데이터셋을 이용해 원본 이미지와 AI‑생성 이미지를 구분하기 위해 원시 픽셀, 색상 히스토그램, DCT, HOG, LBP, GLCM, 웨이브릿 등 7가지 손수 만든 특징을 결합하고, LightGBM을 포함한 7개의 분류기로 평가한다. 혼합 특징과 LightGBM 조합이 PR‑AUC 0.9879, ROC‑AUC 0.9878, F1 0.9447, Brier 0.0414의 최고 성능을 기록해, 해석 가능성과 연산 효율성을 유지하면서도 딥러닝 수준의 검출력을 달성함을 보여준다.

상세 분석

이 연구는 최근 딥러닝 기반 이미지 위조 탐지 모델이 높은 정확도를 보이지만, 대규모 학습 데이터와 고성능 GPU가 필요하고 ‘블랙박스’ 특성으로 해석 가능성이 떨어진다는 한계를 지적한다. 이를 보완하고자 저자는 전통적인 손수 만든 특징(Handcrafted Features)을 재조명한다. 구체적으로 원시 RGB 픽셀을 1‑D 벡터화한 뒤, 16‑bin 채널별 색상 히스토그램, 8×8 저주파 DCT 계수를 추출한다. 텍스처와 형태 정보를 보강하기 위해 HOG(셀 8×8, 블록 2×2, 9방향), LBP(Uniform, P=8, R=1, 16‑bin), GLCM(32‑level 양자화, 거리 1, 4방향) 및 Daubechies‑db2 웨이브릿 변환을 적용해 서브밴드 에너지와 근사밴드 평균·표준편차를 구한다. 이렇게 얻은 7가지 서브피처를 단순 연결(concatenation)해 ‘mixed’ 특징 벡터를 구성하고, 차원 수는 수천에 달한다.

분류기 측면에서는 로지스틱 회귀, 랜덤 포레스트, ExtraTrees, 히스토그램 기반 Gradient Boosting, XGBoost, LightGBM, CatBoost 등 7종을 동일한 하이퍼파라미터 설정(트리 수 500‑1000, 학습률 0.05 등)으로 비교한다. 모델은 50 k 학습 샘플과 10 k 테스트 샘플을 사용하며, 10 % 검증 셋을 별도 확보해 F1 점수를 최대화하는 임계값 τ*를 튜닝한다. 평가 지표는 PR‑AUC, ROC‑AUC, F1, MCC, Balanced Accuracy, Brier Score 등 판별력과 캘리브레이션을 동시에 고려한다.

실험 결과는 두드러진 패턴을 보인다. 기본(baseline) 특징만 사용할 경우 LightGBM이 PR‑AUC 0.9676, ROC‑AUC 0.9666, F1 0.9018을 기록해 다른 모델을 앞선다. ‘advanced’ 특징(텍스처·주파수 중심)으로 확장하면 모든 모델의 성능이 상승하고, 특히 LightGBM은 PR‑AUC 0.9852, ROC‑AUC 0.9850, F1 0.9384에 도달한다. 최종적으로 모든 특징을 혼합한 ‘mixed’ 설정에서는 LightGBM이 PR‑AUC 0.9879, ROC‑AUC 0.9878, F1 0.9447, Brier 0.0414라는 최고 점수를 얻으며, 다른 부스팅 모델(XGBoost, CatBoost)과도 근소한 차이만 보인다. 이는 트리 기반 부스팅이 고차원, 이질적인 손수 만든 특징을 효과적으로 학습하고, 확률 캘리브레이션까지 잘 수행함을 의미한다.

또한, 결과는 특징 집합이 풍부할수록 성능이 단조롭게 향상된다는 점을 확인한다. 이는 서로 다른 도메인(공간, 주파수, 텍스처)에서 추출된 신호가 상보적이며, 단일 특징에 의존하는 딥러닝 모델보다 더 견고한 일반화를 제공한다는 실증적 근거가 된다. 마지막으로, 저자는 연산 비용 측면에서 32×32 크기의 이미지와 경량 특징 추출 파이프라인이 GPU 없이도 실시간 수준으로 동작할 수 있음을 암시한다. 따라서 리소스가 제한된 포렌식 현장이나 정책 입안 단계에서 해석 가능하고 빠른 검출기가 필요할 때, 이 접근법이 실용적인 대안이 될 수 있다.