컨포멀 트레이드오프: 커버리지를 넘어선 운영 프로파일

본 논문은 배포된 머신러닝 시스템에서 컨포멀 예측이 차지하는 역할을 재조명한다. 전통적인 컨포멀 방법은 교환가능성 가정 하에 마진 커버리지를 유한 샘플 수준에서 보장하지만, 실제 운영에서는 “커밋(결정) 빈도”, “연기(거부) 비율”, “결정적 오류 노출” 등 다차원적인 KPI가 핵심이다. 동일한 커버리지를 달성하는 두 개의 임계값 설정이라도 점수 공간의 기하학적 배치에 따라 이러한 KPI가 크게 달라질 수 있음을 지적한다. 이를 해결하기 위해 저자는 세 가지 주요 기여를 제시한다. 첫째, Small‑Sample Beta Correction(SSBC)이다. 스플릿 컨포멀에서 임계값을 선택하면 베타‑베르누리 분포가 형성되는데, 이를 정확히 역전시켜 사용자가 제시하는 (α★,δ) 요구를 만족하는 최소 보수적 그리드 포인트를 찾아낸다. 이는 교환가능한 한정된 샘플에서도 “캘리브레이션‑조건부 PAC” 의미를 제공한다. 특히 이진 클래스‑조건부 상황에서 4차원 사용자 사양을 2차원 캘리브레이션 좌표로 축소함으로써 트레이드오프 탐색을 실용화한다. 둘째, Calibrate‑and‑Audit 프레임워크이다. 캘리브레이션 단계에서는 독립적인 D_cal을 이용해 임계값 τ를 고정하고, 점수 공간을 유한 영역 R_τ로 분할한다. 이후 감사 단계에서는 또 다른 교환가능한 D_audit을 사용해 각 영역‑라벨 결합 확률 p_{r,y}를 추정한다. 이 결합 테이블은 “재사용 가능한 충분 통계량”으로, 커밋 비율, 연기 비율, 오류 노출, 순도 등 다양한 KPI가 선형 투영을 통해 즉시 계산된다. 영역‑라벨 테이블에 대한 베타‑베르누리 모델을 적용하면, 미래 운영 윈도우에서 KPI에 대한 정확한 유한‑샘플 예측 구간을 제공한다. 즉, 운영률 자체가 베르누리 변수이므로, 향후 윈도우에 대한 95% 신뢰구간을 직접 구할 수 있다. 셋째, 기하학적 제약과 트레이드오프 분석이다. 이진 확률‑정규화 점수에서는 τ_0+τ_1>1이면 헤징(다중 라벨 포함) 영역이 존재하고, τ_0+τ_1<1이면 반드시 거부(빈 집합) 영역만 남는다. 이러한 경계는 커밋·연기·오류 노출 사이의 강제적 상관관계를 만든다. 저자는 비용‑일관성 조건을 도출해, 특정 비용 함수가 영역‑라벨 테이블의 선형 변환으로 표현될 때 어떤 운영 프로파일이 실현 가능하고, 어떤 프로파일은 불가능한지를 명확히 제시한다. 이를 통해 Pareto 전선을 구하고, 비지배적 운영 레짐을 시각화한다. 실험에서는 Tox21 독성 데이터와 AquaSolDB 용해도 데이터를 활용한다. SSBC가 제시하는 커버리지 보장을 시뮬레이션을 통해 검증하고, Audit 기반 요약이 Leave‑One‑Out 기반 프록시보다 더 정확한 미래 KPI 예측을 제공함을 보인다. 특히, 동일한 명목 커버리지를 갖는 두 임계값 설정이 커밋 비율과 오류 노출에서 크게 차이 나는 사례를 통해, 커버리지만으로는 운영 요구를 충분히 설명할 수 없음을 실증한다. 논문은 컨포멀 예측을 단순한 불확실성 추정이 아닌, 운영‑중심 의사결정 프레임워크로 확장하는 데 필요한 이론·방법·실증을 종합적으로 제공한다.