자동 조합 평가 파이프라인 Auto‑Comp: 비전‑언어 모델의 구성 능력 정밀 탐색

초록

Auto‑Comp은 최소형 캡션과 LLM‑생성 컨텍스트 캡션을 병렬로 생성하고, 텍스트‑투‑이미지 모델과 자동 검증 모듈을 결합해 대규모 포토리얼리스틱 벤치마크를 자동으로 만든다. 20개 이상의 최신 VLM을 색상·위치 결합 테스트와 새로운 Confusion Benchmark으로 평가한 결과, CLIP·SigLIP 모두 복합 속성 결합에 취약하고, 특히 저엔트로피 방해 요소에 크게 혼란스러워한다. 컨텍스트가 풍부할수록 공간 추론은 향상되지만, 속성 결합은 시각적 잡음으로 인해 악화되는 트레이드오프를 발견했다.

상세 분석

Auto‑Comp은 “Concept‑Driven” 접근을 핵심으로, 객체·속성·관계의 집합을 명시적으로 정의한 뒤, 두 종류의 캡션을 자동 생성한다. Minimal 캡션은 템플릿 기반으로 백그라운드가 흰색인 단순 이미지에 매핑돼 모델의 순수 바인딩 능력을 측정한다. Contextual 캡션은 LLM(Gemma‑3‑12b‑it)에게 동일 개념을 자연어로 재작성하도록 지시하고, 이를 StableDiffusion 3.5‑large가 사진 수준의 복합 장면으로 변환한다. 생성된 이미지와 캡션은 GroundedSAM2와 VLLM 기반 속성 검증을 거쳐 자동으로 품질을 확인한다. 이중 검증 파이프라인은 객체 존재·수, 배경 일관성, 속성·관계 정확성을 정량화하며, 인간 평가와 94 % 이상의 일치율을 보였다.

벤치마크 설계는 두 단계로 나뉜다. 첫 번째는 Swap Benchmark으로, N개의 객체·속성 조합을 전부 교환해 N!‑1개의 하드 네거티브를 만든다. 두 번째는 Confusion Benchmark으로, 동일 객체·색상이 반복되는 저엔트로피 방해 요소를 삽입해 N·2N‑1개의 네거티브를 생성한다. 이 설계는 기존 “bag‑of‑words” 한계를 넘어, 모델이 시각적·언어적 잡음에 얼마나 취약한지를 정밀히 측정한다.

실험 결과, SigLIP 계열이 CLIP보다 전반적으로 높은 정확도를 보였지만, Contextual 조건에서는 색상 바인딩 정확도가 감소하고, 위치 바인딩은 오히려 향상되는 역설적인 현상이 관찰되었다. 이는 전역적인 장면 맥락이 공간 관계 추론을 돕는 반면, 로컬 속성 인식에는 시각적 복잡도가 방해가 된다는 중요한 트레이드오프를 시사한다. 또한, Confusion Benchmark에서 모든 모델이 저엔트로피 방해 요소에 대해 30 %~50 % 수준의 성능 저하를 보였으며, 이는 기존 평가에서 간과된 구조적 약점을 드러낸다.

Auto‑Comp 파이프라인은 완전 자동화·확장성을 갖추어, 연구자가 원하는 새로운 속성·관계 집합을 정의하면 즉시 고품질 벤치마크를 생성할 수 있다. 코드와 데이터셋이 HuggingFace에 공개돼, 향후 VLM의 구성 능력 향상을 위한 평가 및 모델 설계에 널리 활용될 전망이다.