정확도를 넘어선 이미지 분류 모델 설계: 품질을 모두 갖춘 모델은?

초록

본 논문은 이미지 분류에서 정확도 외에 9가지 품질 차원을 동시에 평가한다. 326개의 백본 모델을 대상으로 자기지도 학습, 비전‑언어 모델, 데이터 규모 등 다양한 학습 패러다임과 아키텍처가 품질에 미치는 영향을 대규모 실험을 통해 분석한다. 주요 발견은 (i) 비전‑언어 모델이 클래스 균형과 도메인 변동에 강인함을 보이며, (ii) 자기지도 사전학습 후 파인튜닝이 대부분의 품질 차원을 향상시키고, (iii) 학습 데이터 양이 품질 전반에 가장 큰 영향을 미친다는 것이다. 마지막으로 다중 품질 차원을 통합한 QUBA 점수를 제안해 사용자 요구에 맞는 모델을 추천한다.

상세 분석

이 연구는 이미지넷‑1k 분류 작업을 기준으로 정확도, 적대적 강인성, 왜곡 강인성, OOD 강인성, 캘리브레이션 오류, 클래스 균형, 객체 초점, 형태 편향, 파라미터 수라는 9가지 품질 차원을 정의하고, 각각을 정량화하기 위한 프로토콜을 설계했다. 적대적 강인성은 FGSM·PGD 공격 후 정확도를 정규화해 기하 평균을 사용했으며, 왜곡 강인성은 ImageNet‑C의 평균 정확도를, OOD 강인성은 다섯 개 OOD 데이터셋(ImageNet‑R, Sketch 등)의 기하 평균을 활용했다. 캘리브레이션 오류는 ECE와 ACE의 기하 평균을, 클래스 균형은 클래스별 정확도와 평균 신뢰도의 표준편차를 1에서 차감한 값을 결합했다. 객체 초점은 배경 교체 실험으로, 형태 편향은 형태‑텍스처 충돌 이미지로 측정하였다. 파라미터 수는 하드웨어‑독립적인 비용 지표로 채택했다.

326개의 모델은 CNN, Vision Transformer, B‑cos, Vision‑Language(ViL) 등 네 가지 아키텍처와 표준 지도학습, 자기지도 학습, 반지도 학습, 적대적 학습, A