PinPoint: 복합 이미지 검색을 위한 다중 정답·하드 네거티브·다중 이미지·패러프레이즈 평가 벤치마크

초록

PinPoint은 7,635개의 실제 질의와 329 K 인간 검증 레이블을 포함한 대규모 복합 이미지 검색(Composed Image Retrieval) 벤치마크이다. 평균 9.1개의 정답, 평균 32.8개의 하드 네거티브, 6개의 패러프레이즈, 13.4%의 다중 이미지 질의를 제공해 기존 CIRR·FashionIQ 등에서 놓친 ‘오답 회피’, ‘언어 변형 강건성’, ‘다중 이미지 조합’ 등을 정량화한다. 20여 개 모델을 4가지 패러다임(기본 CLIP, CIR 전용, 프록시 기반, 텍스트‑전용)에서 제로샷 평가한 결과, 최고 mAP@10이 28.5%에 불과하고 하드 네거티브를 9% 포함, 패러프레이즈에 따라 성능 변동이 25.1%에 달한다. 제안된 훈련‑프리 MLLM 재랭킹(Qwen2.5‑VL)으로 모든 모델에서 정밀도가 향상된다.

상세 분석

PinPoint 논문은 현재 복합 이미지 검색(CIR) 분야가 직면한 평가상의 근본적인 한계를 체계적으로 진단하고, 이를 보완하기 위한 데이터셋·평가지표·보정 방법을 제시한다. 첫 번째로, 기존 벤치마크는 단일 정답과 Recall 기반 평가지표에 의존해 ‘오답 회피’ 능력을 측정하지 못한다. PinPoint은 각 질의당 평균 9.1개의 인간 검증 정답과 32.8개의 하드 네거티브(시각적으로 매우 유사하지만 의미적으로 틀린 이미지)를 제공함으로써 Precision@K와 Neg@K 같은 새로운 지표를 도입한다. 두 번째로, 언어적 다양성을 반영하기 위해 동일한 의도를 6가지 패러프레이즈로 변형한다. 이는 모델이 텍스트 입력의 미묘한 차이에 얼마나 민감한지를 정량화하는 ‘언어 민감도’(sensitivity range) 지표를 가능하게 한다. 세 번째로, 13.4%의 질의는 두 개 이상의 레퍼런스 이미지를 조합해 목표 이미지를 정의한다(예: “이 드레스와 이 신발을 매치한 스타일”). 이는 기존 단일 이미지 기반 모델이 다중 이미지 정보를 어떻게 통합하는지를 평가한다. 데이터 구축 과정은 크게 네 단계로 나뉜다. (1) 25 000개의 공개 이미지 수집 후 품질·안전 필터링, 중복 제거. (2) GPT‑5, Claude‑4, Gemini‑2.5 등 3개의 멀티모달 LLM을 활용해 3–5개의 수정 명령을 생성하고, 인간 검증을 통해 구체성과 시각적 근거를 확보한다. (3) 각 명령에 대해 5가지 관련도 라벨링을 수행하고, ‘매우 관련’과 ‘완전 부정’에만 합의를 얻어 정답·네거티브를 확정한다. (4) 최종적으로 109 601개의 이미지 풀에 정답·네거티브를 삽입한다. 평가에서는 mAP, ΔmAP@10(하드 네거티브 포함 여부에 따른 차이), Negative Recall@10, 그리고 언어 민감도 범위를 보고한다. 20여 개 모델을 4가지 패러다임(기본 CLIP, CIR 전용, 프록시 기반, 텍스트‑전용)에서 제로샷으로 테스트했을 때, 최고 모델도 mAP@10이 28.5%에 머물며 하드 네거티브를 9% 포함한다. 특히 패러프레이즈별 성능 차이가 평균 25.1%에 달해 현재 모델이 특정 문구에 과적합(overfit)된 경향을 드러낸다. 다중 이미지 질의에서는 성능이 40~70% 급감한다. 흥미롭게도 순수 텍스트 기반 GPT‑5 검색이 일부 CIR 전용 모델을 앞선다. 이를 보완하기 위해 논문은 훈련‑프리 재랭킹 기법을 제안한다. Qwen2.5‑VL‑7B와 같은 멀티모달 LLM에 “이 후보 이미지가 질의와 명령에 부합하는가?”라는 Yes/No 프롬프트를 전달해 각 후보의 로짓을 얻고, 이를 기반해 1차 검색 결과를 재정렬한다. 이 방법은 모델에 독립적이며, 모든 테스트 모델에서 Top‑10 정밀도와 Neg@10을 현저히 개선한다. 전체적으로 PinPoint은 복합 이미지 검색의 실제 사용 시나리오를 포괄적으로 모델링하고, 기존 평가가 놓친 오류 유형을 드러내며, 간단한 LLM 기반 재랭킹으로 실용적인 성능 향상을 제시한다.