대형 비전 언어 모델을 위한 OODBench 분포 외 데이터 평가 벤치마크

초록

OODBench은 대형 비전‑언어 모델(VLM)의 분포 외(Out‑of‑Distribution, OOD) 성능을 체계적으로 측정하기 위해 40 000개의 이미지‑텍스트 쌍을 자동으로 수집·분류한 벤치마크이다. 기존 연구가 주로 새로운 클래스(semantic shift)를 대상으로 했던 반면, 본 연구는 라벨은 동일하지만 시각적 특성이 변한 covariate shift OOD에 초점을 맞추고, CLIP·BLIP2 기반의 일반화된 OOD 탐지기를 활용해 “Simple”·“Hard” 두 난이도로 구분한다. 또한 기본‑고급 단계 질문(Basic‑Advanced Process Metric)을 도입해 이미지 이해, 양 인식, 논리 추론 등 다양한 난이도에서 모델의 취약점을 드러낸다. 실험 결과 최신 VLM(GPT‑4o, Gemini, LLaVA 등)도 OOD 상황에서 성능이 크게 저하됨을 확인하였다.

상세 분석

본 논문은 대형 비전‑언어 모델이 실제 적용될 때 마주하게 되는 데이터 분포 변화, 즉 IID 가정이 깨지는 상황을 정량적으로 평가할 수 있는 벤치마크인 OODBench을 제안한다. OOD를 크게 두 가지로 정의한다. 첫째, 라벨 자체가 바뀌는 semantic shift(새로운 클래스)이고, 둘째, 라벨은 동일하지만 입력 이미지의 시각적 특성이 변하는 covariate shift이다. 기존 OOD 연구는 주로 semantic shift에 집중했으나, VLM은 이미 대규모 공개 데이터셋(예: LAION, COCO)에서 흔히 등장하는 라벨을 학습했으므로, 실제 위험 상황은 동일 라벨 내의 시각적 변동, 즉 covariate shift에 더 가깝다.

데이터 수집 단계에서는 공개된 77 k개의 예/아니오 질문을 출발점으로 삼아, CLIP과 BLIP2라는 두 off‑the‑shelf VLM을 일반화된 OOD 탐지기로 활용한다. 두 탐지기의 예측 결과를 교차 검증하여 OOD‑Hard(양 탐지기 모두 OOD로 판단)와 OOD‑Simple(한 탐지기만 OOD로 판단)으로 라벨링한다. 이때 “purify” 연산을 도입해 다중 라벨 이미지에서 서로 간섭하는 softmax 확률을 제거하고, 각 라벨별 매칭 확률을 독립적으로 계산한다. 확률이 일정 임계값 이하이거나, 실제 존재하지 않는 라벨에 대한 확률이 기존 라벨보다 높을 경우를 OOD 후보로 선정한다.

수집된 OODBench은 자연 이미지(COCO, LVIS)와 자율주행 이미지(nuScenes, Cityscapes) 등 두 도메인에 걸쳐 40 k개의 예/아니오 샘플을 포함한다. OOD‑Simple은 22 k개, OOD‑Hard는 18 k개로 구성되며, 각각 “Simple”·“Hard” 난이도 구분에 활용된다.

성능 평가를 위해 논문은 Basic‑Advanced Process Metric을 설계했다. 질문을 기본(Basic), 중간(Advanced‑1), 고난이도(Advanced‑2) 세 단계로 구분하고, 각 단계에서 이미지 이해, 양 인식, 논리 추론 능력을 측정한다. 이렇게 단계별 난이도를 도입함으로써 모델이 단순 사실 추출은 잘 수행하지만, 복합적인 추론이나 변형된 시각적 상황에서는 급격히 성능이 떨어지는 현상을 정량화한다.

실험에서는 최신 VLM 8종(GPT‑4o, Gemini, LLaVA‑1.5, InternVL‑2, Qwen2‑VL, DeepSeek‑VL, BLIP‑2, CLIP‑V) 모두 OOD‑Hard 상황에서 평균 정확도가 20 %~35 % 수준으로 크게 감소했으며, 특히 “Advanced‑2” 단계에서 오류율이 급증했다. 이는 모델이 라벨 공간 내 변형된 시각적 패턴을 충분히 일반화하지 못한다는 증거이다. 또한, 동일 라벨이지만 배경·조명·시점이 달라진 경우에도 오류가 빈번히 발생함을 확인했다.

논문은 OODBench이 기존 IID‑중심 벤치마크와 달리 실제 안전‑중요 응용(자율주행, 의료)에서 발생할 수 있는 미세한 분포 변화를 포착한다는 점을 강조한다. 또한, 일반화된 OOD 탐지기와 경량 인간 검증을 결합한 파이프라인은 대규모 OOD 데이터셋 구축 비용을 크게 절감하면서도 품질을 유지한다는 장점이 있다. 향후 연구에서는 OOD‑Hard 샘플에 대한 특화된 데이터 증강, 멀티모달 OOD 탐지기 설계, 그리고 OOD‑인식 기반의 안전‑중단 메커니즘 등을 제안한다.