머신러닝 불확실성 측정, 만능 해법은 없다

초록

본 논문은 머신러닝의 안전-critical 응용에 필수적인 예측 불확실성 정량화에 대해, 단일 최고의 측정 지표는 존재하지 않으며, 작업에 맞춰 측정 방법을 맞춤화해야 한다고 주장한다. 적절한 평가 규칙을 기반으로 한 유연한 불확실성 측정 방법군을 소개하며, 선택적 예측, 분포 외 탐지, 능동 학습 등 다양한 다운스트림 작업에 서로 다른 불확실성 측정이 최적임을 이론 및 실험으로 입증한다.

상세 분석

본 논문의 핵심 기술적 기여는 ‘작업 손실’과 ‘불확실성 손실’의 정렬 개념을 도입한 것이다. 기존 연구가 엔트로피 기반 측정을 표준으로 삼거나 다양한 대안을 일반적인 경쟁자로만 비교한 반면, 본 연구는 특정 다운스트림 작업(예: 선택적 예측)의 성능을 평가하는 데 사용되는 ‘작업 손실’과, 불확실성 수치를 생성하는 데 사용되는 ‘불확실성 손실’(적절한 평가 규칙)을 명시적으로 구분한다. 저자들은 이론적으로 두 손실이 일치할 때 최적의 작업 성능을 기대할 수 있음을 보인다.

이를 구현하기 위해, 엄격하게 적절한 평가 규칙의 기대 손실 분해에서 비롯된 불확실성 측정 방법군을 활용한다. 이 프레임워크는 총 불확실성(TU), 우연적 불확실성(AU), 인식적 불확실성(EU)을 손실 함수 ℓ에 따라 다음과 같이 정의한다: EU(Q) = E_θ∼Q