컨포멀 예측의 커버리지‑길이 평가를 속이는 ‘편견 트릭’과 안정성 지표 제안

초록

본 논문은 컨포멀 예측(Conformal Prediction)의 전통적인 평가 기준인 커버리지와 평균 구간 길이가 충분히 모델의 실용성을 판단하지 못함을 보여준다. 저자들은 ‘편견 트릭(Prejudicial Trick, PT)’이라는 무작위화 기법을 제안해, 동일한 커버리지를 유지하면서 평균 구간 길이를 인위적으로 감소시킬 수 있음을 이론과 실험으로 입증한다. PT는 테스트 샘플마다 일정 확률(p)로 빈 구간을 반환하고, 나머지 경우에는 조정된 유효 수준(α′)으로 구간을 만든다. 이 과정은 마진 커버리지는 보장하지만 구간의 불안정성·불공정성을 초래한다. 이를 감지하기 위해 ‘구간 안정성(Interval Stability)’이라는 새로운 메트릭을 도입하고, 기존 CP 방법들의 평가에 보완적인 시각을 제공한다.

상세 분석

컨포멀 예측은 교환 가능성(exchangeability) 가정 하에 유한 표본에서도 마진 커버리지를 보장하는 강력한 불확실성 추정 방법으로 널리 활용되어 왔다. 전통적으로 연구자들은 “커버리지는 유지하고, 평균 구간 길이를 최소화하라”는 목표를 설정하고, 이를 달성하기 위해 비정규성 점수 설계, 지역화(localization), 조건부 커버리지 완화 등 다양한 변형 기법을 개발해 왔다. 그러나 본 논문은 이러한 두 축—커버리지와 길이—만으로는 모델의 실제 사용 가치를 충분히 평가할 수 없음을 논증한다.

핵심 아이디어는 ‘편견 트릭(PT)’이다. PT는 기본 CP 알고리즘 A₁₋α(·; μ̂)를 입력받아, 테스트 포인트 x′에 대해 다음과 같이 동작한다. 먼저 Uniform(0,1) 난수 U를 샘플링하고, U > p이면 빈 구간(회귀에서는 단일점, 분류에서는 ∅)을 반환한다. 그렇지 않으면 조정된 미커버리지율 α′ = 1 – (1 – α)/p 를 사용해 기존 CP 알고리즘을 실행한다. 이때 p ∈ (1–α, 1) 로 설정하면, 전체 기대 커버리지는
E