마진 적응형 모델 선택의 이론과 한계

본 논문은 마진 조건을 활용한 빠른 학습률이 모델 선택에 어떻게 적용될 수 있는지를 탐구한다. 전통적인 마진 조건은 전체 모델 공간에 동일하게 적용되는 전역 마진 함수 ϕ를 전제로 하지만, 실제 데이터에서는 작은 모델이 큰 모델보다 학습이 훨씬 쉬운 경우가 빈번하다. 이를 반영하기 위해 저자들은 각 모델 Sₘ마다 다른 로컬 마진 함수 ϕₘ을 도입하고, 이를 “강한 마진 적응성(strong margin adaptivity)”이라는 개념으로 정의한다. 강한 마진 적응성은 선택된 모델 b̂ₘ이 오라클 부등식 ℓ(s, b̂ₘ) ≤ C infₘ{ℓ(s, sₘ)+Rₙ(Cₘ, ϕₘ)}를 만족하면서, Rₙ(Cₘ, ϕₘ) 가 각 모델의 최소 위험과 동일한 차수(예: Vₘ/n 혹은 (Vₘ/(nhₘ))^{κ/(2κ−1)})를 갖는 것을 의미한다. 여기서 Cₘ는 모델 복잡도(VC 차원, ρ‑조건 등)를 나타내고, ϕₘ은 해당 모델에 대한 마진 강도를 나타낸다. 논문은 먼저 일반적인 경험 위험 최소화(ERM) 프레임워크를 설정한다. 관측값 ξ₁,…,ξₙ∈Ξ와 손실 함수 γ: S×Ξ→