소수의 라벨로 인공지능 이미지 결함 탐지 혁신

초록

ArtifactLens는 사전 학습된 비전‑언어 모델(VLM)을 그대로 두고, 몇 백 개의 라벨만으로 인간 해부학 결함, 물체 형태 오류, 비정상적인 상호작용 등 다양한 인공 이미지 결함을 높은 정확도로 탐지한다. 다중 전문가 구조, 인‑컨텍스트 학습(ICL)과 텍스트 프롬프트 최적화를 결합한 스캐폴딩을 통해 기존 수만 장 라벨을 필요로 하던 파인튜닝 방식보다 데이터 효율성을 10배 이상 높였으며, 다섯 개의 인간 결함 벤치마크에서 최고 성능을 기록했다.

상세 분석

본 논문은 사전 학습된 VLM이 이미 결함 인식에 필요한 시각‑언어 지식을 내재하고 있음을 전제로, 이를 “스캐폴딩”이라는 외부 구조로 끌어올리는 접근법을 제시한다. 핵심은 (1) 오류 유형별 ‘전문가(Specialist)’ 모듈을 구성해 각 VLM이 특정 결함(예: 손 변형, 얼굴 왜곡 등)에 집중하도록 하고, (2) 각 전문가에 대해 인‑컨텍스트 학습을 적용해 이미지‑라벨 쌍을 프롬프트에 삽입한다. 특히, 기존 ICL이 무작위 데모를 사용하는 반면, 저자는 ‘반사실(counterfactual) 데모’를 도입해 시멘틱하게 유사하지만 라벨만 다른 이미지 쌍을 선택함으로써 VLM이 미세한 차이를 학습하도록 유도한다. 유사도 측정은 CLIP 임베딩을 활용한다.

다음으로 텍스트 프롬프트 최적화 단계에서는 LLM을 이용해 ‘전체 스펙트럼 프롬프트(full‑spectrum prompting)’를 생성한다. 기존 자동 프롬프트 생성기가 과도하게 보수적인 지시문(“높은 신뢰도일 때만 결함 표시”)을 내놓는 문제를 해결하기 위해, 다양한 신뢰도 임계값을 반영한 프롬프트 풀을 만들고, 개발 셋 성능을 기준으로 반복적으로 재작성한다. 이 과정은 LLM‑VLM 블랙박스 최적화의 대표적인 사례로, 라벨이 희소한 결함 클래스에 대한 편향을 완화한다.

실험에서는 Gemini‑2.5‑Pro와 Gemini‑2.5‑Flash 등 최신 상용 VLM을 사용했으며, 5개의 인간 결함 벤치마크(총 10만 장 이상)에서 파인튜닝 기반 최첨단 모델보다 F1 점수 8%p 상승을 달성했다. 특히 200개의 라벨만으로도 성능 저하가 9%에 머물렀으며, 데이터 양을 10배 줄여도 기존 파인튜닝 대비 45% 이상의 개선을 보였다. 또한, 동일 스캐폴딩을 물체 형태, 동물 해부학, 비합리적 상호작용 등 다른 도메인에 적용했을 때도 제로샷 성능이 크게 향상되었으며, AIGC(인공지능 생성 콘텐츠) 탐지까지 확장 가능함을 입증했다.

이 논문의 주요 기여는 (1) VLM을 파인튜닝 없이도 결함 탐지에 활용할 수 있는 효율적인 스캐폴딩 설계, (2) 반사실 데모와 전체 스펙트럼 프롬프트라는 두 가지 새로운 블랙박스 최적화 기법, (3) 다중 벤치마크를 통한 포괄적 일반화 검증이다. 결과적으로 라벨 비용이 크게 감소하면서도 실용적인 수준의 결함 탐지 시스템을 구축할 수 있음을 보여준다.