비전 기반 파운데이션 모델의 컨포멀 예측 적합성 분석

초록

본 논문은 최신 비전 및 비전‑언어 파운데이션 모델을 컨포멀 예측(Conformal Prediction) 프레임워크에 적용해, 마진 커버리지 보장을 유지하면서 예측 집합의 효율성을 평가한다. 실험 결과, Vision Transformer 기반 모델이 특히 작은 집합 크기와 높은 클래스별 커버리지를 제공하며, APS가 가장 안정적인 방법으로 확인되었다.

상세 분석

이 연구는 17개의 최신 파운데이션 모델(DINO, DINOv2, VICReg, CLIP 등)과 세 가지 대표적인 컨포멀 예측 방법(LAC, APS, RAPS)을 결합해 3개의 주요 이미지 데이터셋(CIFAR‑10, CIFAR‑100, ImageNet) 및 도메인 이동이 포함된 변형 데이터에 대해 광범위한 실험을 수행하였다. 핵심 분석 포인트는 다음과 같다.

1. 모델 구조와 컨포멀 효율성: Vision Transformer(ViT) 기반 모델(DINO, DINOv2, CLIP 등)은 전통적인 ConvNet(ResNet) 대비 비정규화된 소프트맥스 확률 분포가 더 뚜렷하게 구분되는 경향을 보여, 비적응형 LAC보다 적은 평균 집합 크기(Set size)를 달성했다. 이는 APS와 RAPS가 누적 확률을 활용해 불확실한 클래스에 대한 점수를 조정함으로써, 높은 마진 커버리지(1‑α) 하에서도 집합을 압축할 수 있음을 의미한다.

2. APS vs. RAPS vs. LAC: 실험 전반에 걸쳐 APS가 가장 높은 경험적 커버리지(Cov)와 최소 클래스별 커버리지(MCCC)를 유지했으며, RAPS는 정규화 파라미터(λ, k_reg)를 적절히 튜닝하면 APS에 비해 평균 집합 크기를 10‑15% 정도 감소시켰다. LAC는 가장 작은 집합을 제공하지만, 특히 불균형 데이터나 OOD(Out‑of‑Distribution) 상황에서 커버리지 격차(CovGap)가 크게 늘어 신뢰성이 떨어졌다.

3. 신뢰도 보정(calibration) 효과: 온도 스케일링(TS) 등 사후 보정 기법을 적용하면 모델의 소프트맥스 확률이 더 잘 캘리브레이션되지만, 컨포멀 예측에서는 오히려 집합 효율성이 저하되는 현상이 관찰되었다. 보정 후 APS와 RAPS의 비정규화 점수가 상승해 더 많은 클래스를 포함하게 되며, 이는 “효율성 감소”로 해석된다. 다만, 보정은 커버리지 격차를 약간 줄여 marginal coverage와 목표 1‑α 사이의 차이를 완화한다.

4. Few‑Shot 적응과 도메인 이동: CLIP 기반 VLM을 10개의 파인‑그레인 데이터셋에 대해 few‑shot linear probing으로 적응시켰을 때, zero‑shot 대비 평균 집합 크기가 8‑12% 감소하고, 동일 α 수준에서 커버리지 격차가 감소했다. 특히 ID(인‑도메인) 데이터에서는 큰 개선이 있었지만, OOD 상황(예: ImageNet‑C, ImageNet‑V2)에서는 개선 폭이 제한적이었다. 이는 파운데이션 모델이 사전 학습된 풍부한 시각‑언어 연관성을 활용해 새로운 클래스에 대한 불확실성을 빠르게 감소시킨다는 점을 시사한다.

5. 도메인 이동에 대한 견고성: 다양한 이미지 변형(노이즈, 스타일 변환, 색상 변형)에서 APS는 커버리지 유지율이 가장 높았으며, RAPS는 집합 크기 감소 효과를 유지하면서도 일정 수준 이상의 커버리지를 보장했다. ConvNet 기반 모델은 변형 강도가 커질수록 커버리지 급락과 집합 크기 급증을 보였으며, 이는 ViT 기반 모델이 보다 일반화된 특징 표현을 학습했기 때문으로 해석된다.

6. 실용적 시사점: 고위험 분야(의료, 보안)에서 파운데이션 모델을 바로 배포하기보다, APS와 같은 적응형 컨포멀 예측을 적용해 마진 커버리지를 보장하고, 필요 시 RAPS로 집합 크기를 조정하는 것이 효율적이다. 또한, 사후 캘리브레이션은 컨포멀 효율성을 해치므로, 컨포멀 단계에서 직접 비정규화 점수를 활용하는 것이 바람직하다.

전반적으로, 비전 파운데이션 모델은 기존의 완전 지도 학습 모델에 비해 컨포멀 예측과 매우 잘 맞으며, 특히 Vision Transformer 기반 모델이 가장 높은 효율성과 견고성을 제공한다는 것이 본 연구의 핵심 결론이다.