조건부 커널 캘리브레이션 오류로 보는 모델 캘리브레이션 비교

초록

본 논문은 기존 캘리브레이션 지표가 모델의 예측 분포(마진)에 과도하게 민감해 모델 간 상대적 비교에 한계를 보이는 문제를 해결하고자, 조건부 평균 연산자(CMO)의 Hilbert‑Schmidt 거리로 정의한 조건부 커널 캘리브레이션 오류(CKCE)를 제안한다. CKCE는 강한 캘리브레이션을 조건부 분포 간 차이로 표현하고, 마진 분포의 영향을 최소화함으로써 분포 이동 상황에서도 모델의 캘리브레이션 수준을 일관되게 순위 매길 수 있다. 실험에서는 합성 데이터와 ImageNet 기반 실 데이터에서 CKCE가 기존 ECE·MMD 기반 지표보다 모델 순위를 더 안정적으로 제공함을 확인하였다.

상세 분석

이 논문은 캘리브레이션을 “조건부 확률 분포가 예측된 확률 벡터와 일치한다”는 강한 정의(Definition 1)로 설정하고, 이를 두 확률 분포 P(Y|QX)와 QX 자체의 조건부 분포 P(ZX|QX) 사이의 차이로 재구성한다. 여기서 QX는 모델이 입력 X에 대해 출력하는 확률 벡터이며, ZX는 QX와 동일한 분포를 갖는 가상의 라벨 변수이다. 두 조건부 분포가 동일하면 강한 캘리브레이션이 성립한다는 점을 이용해, 저자들은 조건부 평균 연산자(CMO) C_{Y|QX}와 C_{Z|QX}를 RKHS에 매핑하고, 그 Hilbert‑Schmidt 노름 차이를 CMMD로 정의한다. 이 거리 자체가 새로운 캘리브레이션 지표인 CKCE가 된다.

핵심 기술적 기여는 다음과 같다. 첫째, 기존 ECE가 예측 확률의 마진 분포에 크게 좌우되는 문제를 해결하기 위해, 마진을 완전히 제거하고 조건부 분포 자체에만 초점을 맞춘다. 둘째, CMO를 추정하기 위한 정규화된 커널 리그레션 식(식 4)을 제시하고, 이를 통해 실험적으로 효율적인 추정기를 구현한다. 셋째, 라벨 공간에는 Kronecker 커널을, 확률 단순체에는 선형+가우시안 혼합 커널 k(p,q)=pᵀq+exp(−‖p−q‖²/(2γ²))을 사용함으로써, CMO가 정의되는 함수 공간이 충분히 풍부하면서도 선형 변환을 포함하도록 설계하였다. 넷째, 대규모 데이터에 적용하기 위해 랜덤 포리어 특성(Random Fourier Features) 기반 근사와 저차원 프루니우스 노름을 활용, O(n³) 복잡도를 O(˜m³)로 감소시켜 실용성을 높였다.

이론적으로는 CMO가 Hilbert‑Schmidt 연산자라면 두 조건부 분포가 거의 확실히 동일함을 보장한다(정리 3). 또한, 정규화 파라미터 λ에 대한 수렴 속도 O_p(λ^{1/2}+λ^{-3/2}n^{-1/2})와 λ→0, nλ³→∞ 조건을 만족하면 일관된 추정이 가능함을 인용한다. 실험에서는 합성 데이터에서 마진 분포를 인위적으로 변형시켜 ECE와 MMD 기반 지표가 순위가 뒤바뀌는 반면, CKCE는 동일한 순위를 유지함을 보여준다. 이미지 분류 실험에서는 ResNet과 ViT 두 모델의 신뢰도 다이어그램과 예측 확률 히스토그램을 제시하고, CKCE가 ViT가 더 잘 캘리브레이션되었음을 정확히 반영한다(표 1).

전체적으로, CKCE는 “조건부 평균 연산자 차이”라는 엄밀한 수학적 정의에 기반해 캘리브레이션을 측정함으로써, 기존 지표가 갖는 마진 의존성, 비편향성, 그리고 분포 이동에 대한 취약성을 극복한다. 이는 고위험 분야에서 모델 선택이나 앙상블 구성 시, 정확도와는 별개로 신뢰도(캘리브레이션)를 정량적으로 비교할 수 있는 강력한 도구가 된다.