비전‑언어 모델의 미세분류 능력 탐구와 향상 방안

초록

본 논문은 최신 비전‑언어 모델(VLM) 15종을 네 개의 미세분류 벤치마크에 적용해 일반 VQA 성능과의 차이를 분석한다. 실험 결과, 언어 모델의 향상은 모든 벤치마크에 고르게 기여하지만, 고성능 비전 인코더와 사전학습 단계에서의 언어 모델 가중치 해제가 미세분류 성능을 크게 끌어올린다는 점을 발견했다. 이를 통해 VLM 설계 시 시각 중심 능력 강화가 필요함을 제시한다.

상세 분석

이 연구는 VLM이 기존 이미지 분류, 특히 미세분류(Fine‑grained Classification)에서 보여주는 한계를 체계적으로 규명한다. 먼저 15개의 최신 VLM(LLaVA, Phi‑3‑Vision, Qwen2‑VL 등)을 ImageNet‑1K, Oxford Flowers‑102, Oxford‑IIIT Pets‑37, Food‑101 네 가지 데이터셋에 5‑way 다중선택 형태로 변환해 평가하였다. 결과는 일반 VQA 벤치마크와는 독립적인 성능 분포를 나타냈으며, 동일한 VQA 점수를 가진 모델이라도 미세분류 정확도 차이가 20%p 이상 발생한다는 점을 확인했다.

핵심 요인은 두 축으로 나뉜다. 첫째, 언어 모델(LLM)의 규모와 사전학습 품질이 전체 성능에 균등하게 기여한다는 점이다. 즉, 더 큰 LLM을 사용하면 VQA와 미세분류 모두 일정 비율 상승한다. 둘째, 비전 인코더의 품질이 미세분류에만 특화된 효과를 발휘한다. CLIP‑ViT‑L/14, DFN‑CLIP 등 강력한 인코더를 탑재한 모델은 동일한 LLM을 사용했음에도 미세분류 정확도가 현저히 높았다.

또한 사전학습 단계에서 언어 모델 가중치를 ‘unfreeze’ 하면, 비전‑언어 연결부(connector)와 함께 공동 학습이 이루어져 미세분류 성능이 크게 향상된다. 반면, 사전학습 데이터의 품질(노이즈 수준, 라벨 다양성 등)은 LLM이 고정된 경우 큰 영향을 미치지 않는다. 이러한 결과는 VLM이 시각 중심 지식을 습득하려면 비전 인코더와 언어 모델의 공동 최적화가 필수적이며, 특히 사전학습 단계에서 양쪽 모두를 자유롭게 업데이트해야 함을 시사한다.

마지막으로, VLM과 해당 비전 인코더 간 성능 격차를 정량화한 결과, 대부분의 VLM이 비전 인코더 단독 성능보다 4~18%p 낮았다. 이는 현재 VLM 설계가 ‘시각‑언어 연결’에 과도하게 집중하면서 순수 시각 인식 능력을 희생하고 있음을 의미한다. 따라서 향후 연구는 비전 인코더의 표현력을 유지하면서 효율적인 멀티모달 정합을 달성하는 아키텍처와 학습 전략을 모색해야 한다.