이진 실험을 위한 정보 발산 위험 통합 이론

초록

본 논문은 이진 분류 문제에서 f‑다이버전스, Bregman 다이버전스, 서러게이트 손실(후회) 경계, 적절한 스코어링 규칙, 비용 민감형 ROC·코스트 커브 등을 하나의 통합 프레임워크로 묶는다. 적분 및 변분 표현을 통해 이들 개념의 원시 함수들을 밝히고, 이를 통해 기존의 생성‑판별 학습 이론을 연결함은 물론, 새로운 Pinsker‑형 불평등과 보다 일반적인 서러게이트 손실 경계를 도출한다. 또한 SVM과 MMD를 다이버전스 관점에서 재해석하고, f‑다이버전스 추정을 위한 실용적 방법을 제시한다.

상세 분석

논문은 먼저 이진 확률 실험을 (P, Q)라는 두 확률분포 쌍으로 모델링하고, 비용 민감형 손실 ℓα(t)=α·1{t<0}+(1−α)·1{t≥0} 를 기본 원시 함수로 설정한다. 이 ℓα는 모든 f‑다이버전스 Df(P‖Q)와 Bregman 다이버전스 Bφ(P‖Q)를 적분 커널로 표현할 수 있음을 보이며, f와 φ는 각각 ℓα의 적분 변환에 의해 생성된다. 변분 표현을 이용하면 Df(P‖Q)=sup_{g∈G} E_P