불확실성을 반영한 구간 기반 AUC와 ROC 분석

초록

본 논문은 구간형 예측값을 이용한 이진 분류에서 기존 ROC·AUC가 갖는 한계를 극복하고자, 두 개의 새로운 평가지표 AUC_L과 AUC_U를 제안한다. 구간이 겹치지 않아 확정적인 순위가 가능한 경우와 겹쳐서 순위가 모호한 경우를 명시적으로 구분함으로써, ROC 평면을 세 영역(정확, 오류, 불확실)으로 분해한다. 또한 클래스별 커버리지를 가정하면 AUC_L·AUC_U가 이론적 최적 AUC*의 하·상한이 됨을 증명하고, 선택적 예측(abstention) 전략과의 연계성을 제시한다. 실험에서는 부트스트랩 기반 구간을 사용해 제안 방법의 정확성을 검증하고, 구간 폭이 판별 성능에 미치는 영향을 분석한다.

상세 분석

이 논문은 고위험 의료·재무 분야에서 예측 불확실성을 구간 형태로 제공하는 최신 모델들의 평가 문제를 체계적으로 다룬다. 기존 ROC·AUC는 점수(score) 기반 순위만을 고려해, 동일 점수에 대한 부분 순위 처리 정도는 제한적이며, 구간 겹침이라는 명백한 불확실성을 반영하지 못한다. 저자들은 두 클래스(양성·음성)에서 각각 추출된 구간 I₁=(L₁,U₁), I₀=(L₀,U₀) 사이의 관계를 세 가지 경우(확정적 상위, 확정적 하위, 겹침)로 정의하고, 이를 기반으로 두 종류의 ROC 곡선을 만든다. 첫 번째 곡선은 TPR_L과 FPR_U를 매칭해 “보수적” 평가를 제공하며, 그 면적을 AUC_L이라 명명한다. 여기서는 양성 구간이 완전히 음성 구간 위에 있을 확률 P(L₁>U₀)와 동일함을 정리 1에서 증명한다. 두 번째 곡선은 TPR_U와 FPR_L을 매칭해 “관대” 평가를 제공하고, 그 면적을 AUC_U라 정의한다. 이는 1−P(U₀>L₁)와 동치이며, 정리 2에서 증명된다. 이렇게 정의된 AUC_L과 AUC_U는 각각 순위가 확정적인 경우와 순위가 잠재적으로 가능한 경우를 포괄한다.

또한 저자들은 세 영역 확률의 합이 1임을 보여주며, ROC 평면을 색으로 구분해 시각화한다(그림 2). 이때 겹침 영역은 불확실성에 해당하며, 선택적 예측 전략에서 해당 사례들을 “abstain” 처리함으로써 모델의 신뢰성을 높일 수 있다. 중요한 이론적 기여는 클래스 조건부 커버리지를 가정했을 때 AUC_L ≤ AUC* ≤ AUC_U가 성립한다는 점이다. 여기서 AUC*는 모든 가능한 점수 함수 f에 대해 최대화되는 이론적 최적 AUC이며, 구간 기반 평가는 관측 가능한 구간 정보만으로도 이 최적값의 물리적 한계를 추정할 수 있게 한다.

실험에서는 Pima Indians Diabetes 데이터셋에 부트스트랩 기반 90% 신뢰구간을 적용해, 구간 폭이 넓을수록 겹침 비율이 증가하고 AUC_L이 감소하는 반면 AUC_U는 크게 변하지 않음을 확인한다. 이는 구간이 넓어질수록 모델이 확정적인 순위를 제공하기 어려워짐을 의미한다. 또한, 다양한 abstention 비율에 대해 정확도와 AUC_L·AUC_U의 변화를 분석해, 불확실성을 활용한 선택적 예측이 전체 성능을 어떻게 향상시키는지 정량화한다.

전반적으로 이 논문은 구간형 예측을 위한 ROC·AUC 확장을 통해, 불확실성을 정량적으로 반영하고, 선택적 예측과 연결시키는 이론·실험적 프레임워크를 제공한다. 이는 기존 점수 기반 평가가 한계에 부딪히는 상황에서, 모델 개발·평가·배포 단계 모두에 적용 가능한 실용적인 도구가 될 것이다.