변화 측정 불평등을 통한 정보 이론 일반화 경계 강화

초록

본 논문은 데이터 처리 불평등(DPI)을 기반으로 새로운 변화 측정 불평등을 제시하고, 이를 f‑다이버전스, Rényi 발산, α‑상호정보 등 다양한 정보 측정값에 연결한다. 이 불평등을 일반화 오차 분석에 적용해 기존보다 더 타이트한 고확률 일반화 경계를 얻으며, PAC‑Bayesian, 조건부 상호정보, 차등 프라이버시 등 여러 학습 프레임워크에도 손쉽게 확장한다.

상세 분석

논문은 먼저 확률 측정 (P)와 (Q)에 대해 사건 (E)의 확률을 (P(E)\le \xi\big(Q(E),D_f(P|Q)\big)) 형태로 묶는 일반적인 변화 측정 불평등을 정의한다. 핵심 기법은 f‑다이버전스에 대한 데이터 처리 불평등(DPI)이다. 임의의 마코프 커널 (T)에 대해 (D_f(T\circ P|T\circ Q)\le D_f(P|Q))가 성립함을 이용해, (T)를 사건 지시 함수 (1_E)로 선택하면 (D_f(P|Q)\ge D_f(\text{Ber}(p)|\text{Ber}(q)))가 된다. 여기서 (p=P(E), q=Q(E))이며, 구체적인 convex 함수 (f)를 대입해 오른쪽 항을 계산하면 다양한 형태의 상한식이 도출된다.

특히 Young‑Fenchel 불평등을 결합해 (f^\star)의 공액함수를 이용하면
\