원샷 예측을 위한 적합 집합 결합: CAOS

초록

CAOS는 하나의 라벨만으로 만든 다수의 원샷 예측기를 자동으로 선택·집합하고, 전체 라벨 데이터를 남김없이 활용하는 LOO(Leave‑One‑Out) 보정 방식을 통해 교환가능성 가정이 깨져도 유한 표본 마진 커버리지를 보장한다. 실험에서는 얼굴 랜드마크 전이와 LLM 기반 텍스트 분류에서 기존 스플릿 콘포멀 대비 훨씬 작은 예측 집합을 제공하면서 목표 커버리지를 유지한다.

상세 분석

본 논문은 대규모 사전학습 모델을 원샷(One‑Shot) 상황에서 활용할 때 발생하는 불확실성 정량화 문제를 콘포멀(prediction set) 이론과 결합한다. 기존 스플릿 콘포멀은 라벨 데이터를 훈련·보정으로 나누어야 하므로 데이터가 극히 적은 원샷 환경에서 효율성이 떨어진다. CAOS는 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 각 라벨(참조) 예제가 만든 원샷 예측기들의 비일관성(non‑conformity) 점수를 모두 수집하고, 후보 라벨에 대해 가장 작은 k개의 점수만 합산하는 “k‑min aggregation”을 도입한다. 이는 테스트 입력에 대해 가장 관련성이 높은 몇 개의 참조 예제만을 강조해 잡음이 섞인 점수를 억제한다. 둘째, 모든 라벨을 보정에 활용하기 위해 LOO 방식을 채택한다. 즉, i번째 라벨을 평가할 때는 그 라벨 자체를 참조 집합에서 제외하고 나머지 n‑1개의 원샷 예측기로 점수를 계산한다. 이렇게 얻은 n개의 보정 점수에 대해 (1‑α)(1+1/n) 분위수를 사용해 임계값을 정하고, 새로운 입력에 대한 집합을 구성한다.

핵심 이론적 공헌은 교환가능성(exchangeability)이 깨진 상황에서도 마진 커버리지를 보장한다는 정리이다. 저자는 CAOS 점수가 데이터셋 크기에 대해 단조(monotonic)함을 증명하고, 이를 이용해 “전체 콘포멀(full conformal)” 버전과의 포함 관계를 구축한다. 따라서 CAOS는 전체 콘포멀의 유한 표본 보장을 그대로 물려받으며, 계산 복잡도는 훨씬 낮다. 실험에서는 얼굴 랜드마크 전이(패치 유사도 기반)와 LLM 기반 텍스트 분류 두 도메인에서 k=3을 기본값으로 사용했으며, 스플릿 콘포멀 대비 평균 예측 집합 크기가 30‑40% 감소하면서도 95% 커버리지는 거의 동일하게 유지되었다. 이는 원샷 상황에서 데이터 효율성을 크게 향상시킨다.

전반적으로 CAOS는 원샷 예측기의 다중성(multi‑shot) 문제를 자연스럽게 해결하고, 콘포멀 이론을 실용적인 데이터 제한 환경에 적용할 수 있는 새로운 프레임워크를 제공한다.