리프팅을 통한 간결하고 날카로운 일반화 경계

초록

본 논문은 확률 과정의 상한을 다루는 기존 체인 기법과 슬라이스 기법을 대체할 수 있는 정보이론 기반 “리프팅” 방법을 제안한다. 리프팅을 통해 퍼뮤테이션 대칭을 도입함으로써 Dudley 엔트로피 적분의 한계를 극복하고, Gaussian 과정에 대해 양측(상하) 경계를 동시에 얻는다. 이를 바탕으로 주요화 측정 정리의 새로운 증명을 제공하고, Sobolev 타원체 위의 경험적 위험 최소화(ERM) 문제에서 기존보다 더 빠른 수렴률을 달성한다.

상세 분석

논문은 먼저 확률 과정의 supremum을 직접 다루는 전통적인 Dudley 엔트로피 적분이 비정상적인 인덱스 집합에서는 상한만 제공하고 하한은 크게 느슨하다는 점을 지적한다. 이를 해결하기 위해 “리프팅(lifting)”이라는 아이디어를 도입한다. 리프팅은 원래의 확률 과정을 복제하고, 복제된 복사본들 사이에 퍼뮤테이션 대칭을 강제함으로써 과정 자체를 stationary하게 만든다. 이 과정에서 정보이론의 상호 정보량 I(Z; \hat Z)와 평균 제곱 오차 σ²를 연결하는 rate‑distortion 함수 R_μ(σ²)를 정의하고, 다음과 같은 핵심 부등식(1)을 증명한다.

\