DF‑LLaVA: 멀티모달 대형 언어 모델을 활용한 합성 이미지 탐지와 자가 반성 메커니즘

초록

DF‑LLaVA는 사전 학습된 멀티모달 대형 언어 모델(LLaVA)의 시각 인코더에 내재된 진위 구분 지식을 추출·주입하고, 예측 충돌이 발생하면 자체 반성 과정을 통해 최종 판단을 재조정한다. 이를 통해 기존 전문가 모델을 능가하는 정확도와 동시에 인간이 이해할 수 있는 상세한 아티팩트 설명을 제공한다.

상세 분석

본 논문은 합성 이미지 탐지라는 특수 과제에서 멀티모달 대형 언어 모델(MLLM)의 잠재적 판별 능력이 충분히 활용되지 못하고 있다는 점을 지적한다. 저자들은 LLaVA‑v1.5의 시각 인코더가 CLIP‑ViT(L‑14) 기반이며, 이 인코더가 생성된 이미지와 실제 이미지를 구분하는 강력한 특징을 이미 내포하고 있음을 실험적으로 확인한다. 그러나 기존 LLaVA는 이러한 시각 정보를 언어 모델에 충분히 전달하지 못해 순수 정확도에서는 전문 탐지기보다 뒤처진다.

이를 해결하기 위해 두 단계의 지식 주입(Prompt‑Guided Knowledge Injection, PGKI)과 충돌‑구동 자가 반성(Conflict‑Driven Self‑Reflection, CDSR) 메커니즘을 설계하였다. PGKI 단계에서는 시각 인코더 출력(