실제 세계 이미지 기반 봉가드 문제 데이터셋

초록

본 논문은 기존 봉가드‑RWR 데이터셋을 자동화 파이프라인으로 확장해 5 400개의 문제를 제공하는 Bongard‑RWR+를 제안한다. 이미지‑텍스트 모델(Pixtral‑12B)과 텍스트‑이미지 모델(Flux.1‑dev)을 활용해 추상 개념을 실사와 유사한 이미지로 변환하고, 인간 검증을 거쳐 품질을 확보한다. 최신 비전‑언어 모델들을 다양한 분류·텍스트 생성 과제에 평가한 결과, 모델들은 거친 개념은 인식하지만 미세한 추론에서는 한계를 보인다.

상세 분석

Bongard 문제는 양쪽 패널에 각각 6장의 이미지가 배치되고, 양측을 구분하는 추상 규칙을 소수 샷(6장)만으로 추론해야 하는 독특한 테스트베드이다. 기존 데이터는 합성 흑백 그림(Bongard‑LOGO)이나 고수준 의미를 가진 실사 이미지(Bongard‑HOI, OpenWorld)로 구성돼 인간 수준의 미세 추론을 평가하기엔 부족했다. 이에 저자들은 Bongard‑RWR+를 통해 원본 60개의 문제를 100배 이상 확장했으며, 핵심 기술은 다음과 같다.

1. I2T 단계: Pixtral‑12B를 이용해 각 원본 이미지에 대해 긍정·부정 캡션을 생성한다. 긍정 캡션은 이미지 내용과 개념을 정확히 반영하도록, 부정 캡션은 반대 개념을 유도하도록 설계돼, 이후 T2I 모델이 원하는 방향으로 이미지 생성하도록 안내한다.
2. T2T 증강: 각 긍정 캡션을 텍스트‑투‑텍스트 모델에 입력해 N=15개의 변형 설명을 만든다. 이는 동일 개념을 다양한 표현으로 제시해 이미지 다양성을 확보한다.
3. T2I 생성: Flux.1‑dev에 긍정·부정 캡션 쌍을 제공해 512×512 해상도의 후보 이미지를 생성한다. 여기서 부정 캡션은 반대 개념이 섞이지 않도록 제어 신호 역할을 한다.
4. 인간 검증 및 셋 구성: 생성된 이미지가 원래 개념을 정확히 반영하는지 인간 검수자가 판단한다. 품질을 통과한 이미지들을 intra‑set cosine similarity가 최소가 되도록 조합해 각 측면에 6개의 컨텍스트 이미지와 1개의 테스트 이미지를 배치한다. 이렇게 10개의 좌·우 세트를 조합해 100개의 새로운 문제를 만든다.

데이터 규모는 5 400개 매트릭스로, 54개의 원본 개념(49개 고유 개념)에서 파생됐다. 색상 정보를 제거한 흑백 변형(GS)과 이미지 수(P=2~6) 변형을 추가해, 색채와 시연 수가 모델 성능에 미치는 영향을 정량화했다.

평가에서는 최신 VLM(예: CLIP‑ViT, BLIP‑2, LLaVA 등)을 6가지 과제에 적용했다. 이진 이미지‑측면 분류(I1S, I2S), 설명‑측면 분류(D1S, D2S), 개념 선택(CS), 자유 텍스트 생성(CG) 등이다. 실험 결과, 모델들은 “동그라미”, “수직” 등 거친 형태·방향 개념은 70‑80% 정확도로 인식했지만, “화살표가 모두 같은 방향을 가리킴”처럼 미세한 관계나 부정 개념을 구분해야 하는 경우 정확도가 30% 이하로 급락했다. 특히 텍스트 생성 과제에서는 개념을 정확히 서술하지 못하고, 종종 색상·배경 등 무관한 속성을 삽입하는 경향을 보였다.

이러한 결과는 현재 VLM이 대규모 이미지‑텍스트 사전학습을 통해 풍부한 시각적 어휘를 습득했지만, 다중 이미지 간 상대적 관계를 추론하는 메타추론 능력은 부족함을 시사한다. 또한, 데이터 생성 파이프라인이 인간 검수를 필요로 하는 점은 완전 자동화의 한계이지만, 기존 수작업 대비 100배 이상의 효율성을 제공한다. 향후 연구는 (1) 인간 검수 없이도 개념 일관성을 자동 판단하는 메트릭 개발, (2) 다중 이미지 관계 학습을 위한 특수 아키텍처(예: 그래프 기반 VLM) 도입, (3) 생성된 이미지의 도메인 편향을 최소화하기 위한 다양성 강화 전략 등에 초점을 둘 수 있다.