컨포멀 예측에서 에피스테믹 불확실성 정량화

초록

본 논문은 컨포멀 예측(Conformal Prediction) 프레임워크 내에서 모델 다중성으로 인한 에피스테믹 예측 불확실성(EPU)을 정량화하는 방법을 제시한다. 전체 및 분할 컨포멀 예측이 닫히고 볼록한 예측 분포 집합(credal set)을 유도한다는 기존 결과를 확장하고, 이 credal set에 내재된 갈등 정보를 측정하는 ‘Maximum Mean Imprecision(MMI)’ 기반 지표를 도입한다. 실험을 통해 MMI‑CP가 CPR 크기만을 이용한 기존 방법보다 더 세밀하고 유용한 불확실성 정보를 제공함을 입증한다.

상세 분석

이 연구는 컨포멀 예측이 암묵적으로 여러 가능한 예측 모델을 포함한다는 점에 주목한다. 기존 연구(Cella & Martin, 2022; Caprio et al., 2025)에서 전체(transductive) 컨포멀 절차가 폐쇄·볼록한 예측 분포 집합, 즉 credal set을 형성한다는 사실을 이용해, 저자들은 먼저 이 특성이 분할(split) 컨포멀에도 그대로 적용됨을 증명한다. 핵심 가정은 ‘consonance’이며, 이는 모든 입력 x에 대해 최소 하나의 라벨 y가 확률 1의 p‑value를 갖는다는 조건이다. 이 가정 하에, 각 라벨에 대한 최대 p‑value를 집합 함수 Pₓ(A)=sup_{y∈A}πₓ(y) 로 정의하면, Pₓ는 상위 확률(upper probability)이며, 이는 ‘plausibility measure’라 불리는 maxitive 구조를 가진다.

그 다음, Pₓ의 core, 즉 Pₓ에 의해 지배되는 모든 정규 확률 측도들의 집합 M(Pₓ)를 구하면, 이 집합이 바로 컨포멀 절차가 내포하는 credal set이 된다. 중요한 점은 CPR C_α(x)= {y | πₓ(y)>α} 가 바로 이 credal set의 ‘imprecise highest‑density region’과 정확히 일치한다는 사실이다. 즉, CPR은 모든 가능한 예측 분포가 α 수준 이상 확률을 부여하는 라벨들의 집합이다.

에피스테믹 불확실성을 정량화하기 위해 저자들은 기존의 엔트로피 차이, Hartley‑type 측도 등이 클래스 수에 따라 지수적 복잡도를 갖고 회귀에 적용하기 어려운 한계를 지적한다. 대신, ‘Maximum Mean Imprecision(MMI)’을 차용한다. MMI는 상위 확률 P와 그에 대응하는 하위 확률(dual) 사이의 최대 차이를, 지정된 테스트 함수 집합 H 위에서 Choquet 적분을 이용해 측정한다. 분류에서는 H를 지표 함수 집합으로 두어 MMI가 |P(A)−P̲(A)|의 최댓값, 즉 전체 사건 공간에 대한 총 변동량(total variation)과 동등해진다.

MMI‑CP는 이 MMI를 credal set의 core에 적용함으로써, CPR이 제공하는 ‘예측 영역’뿐 아니라 그 영역을 형성하는 여러 잠재 모델 간의 갈등 정도를 수치화한다. 계산적으로는 각 라벨에 대한 p‑value만 필요하므로 O(K) 시간에 상한을 구할 수 있어 대규모 분류에도 실용적이다.

실험에서는 두 가지 응용을 다룬다. 첫째, 활성 학습(active learning)에서 MMI‑CP가 높은 EPU를 보이는 샘플을 우선 선택함으로써 라벨링 효율을 향상시킨다. 둘째, 선택적 분류(selective classification)에서 MMI‑CP 기반의 거부 기준이 CPR 크기만을 이용한 기준보다 낮은 오류율과 더 높은 커버리지를 동시에 달성한다. 특히, 동일한 CPR을 갖는 두 예시(그림 1)에서 MMI‑CP는 p‑value 분포의 비대칭성을 포착해 실제 불확실성 차이를 드러낸다.

이 논문은 컨포멀 예측이 제공하는 불확실성 정보를 ‘예측 영역’ 수준을 넘어 ‘모델 다중성’ 수준까지 확장할 수 있음을 이론적으로 증명하고, 실용적인 측정 도구인 MMI‑CP를 제시함으로써 CP를 의사결정, 위험 관리 등 에피스테믹 불확실성을 고려해야 하는 분야에 보다 널리 적용할 수 있는 길을 연다.