Lean으로 정형화한 라데마허 복잡도 기반 일반화 오차 경계

초록

본 논문은 Lean 4와 Mathlib을 이용해 라데마허 복잡도와 Dudley 엔트로피 적분을 통한 일반화 오차 상한을 형식화한다. 경험적·기대 라데마허 복잡도 정의, 대칭화(symmetrization)와 유계 차이(bounded‑differences) 분석, McDiarmid 부등식에 의한 고확률 편차 경계를 기계적으로 검증한다. 또한 가산 가설 클래스에서 가산 밀집 부분집합을 이용해 가산이 아닌 가설 공간(분리 가능 위상공간)으로 결과를 확장하고, ℓ₂·ℓ₁ 정규화 선형 예측기와 Dudley 체이닝을 통한 구체적 예시를 제공한다.

상세 분석

이 연구는 현대 통계학습 이론에서 핵심적인 라데마허 복잡도(Rademacher complexity) 기반 일반화 경계의 형식화를 목표로 한다. 먼저 확률공간 ((\Omega,\mathcal{F},\mu))와 데이터 공간 (X)를 정의하고, 가설 인덱스 집합 (\iota) 위의 실값 함수군 (F={f_i:X\to\mathbb{R}}_{i\in\iota})를 커리드 형태 (f:\iota\to X\to\mathbb{R})로 구현한다. 경험적 라데마허 복잡도는 유한 집합 (\text{Signs}(n)={-1,1}^n)에 대한 평균을 명시적 합으로 정의하고, 기대 라데마허 복잡도는 (\mu^n)에 대한 적분으로 정의한다.

핵심 정리인 expectation_le_rademacher는 대칭화(symmetrization) 아이디를 이용해 두 독립 표본 사이의 차이의 supremum을 라데마허 부호 평균으로 변환한다. 여기서 가산 인덱스 (\iota)에 대해 Measurable.iSup을 적용해 supremum의 가측성을 확보한다. 이후 삼각 부등식과 절대값을 이용해 기대 일반화 갭 (\mathbb{E}