베인 선형 분류기의 보편적 양성 과적합 현상

초록

본 논문은 이진 선형 분류에서 최대 마진 분류기가 과적합에도 불구하고 테스트 오류가 잡음 비율에 수렴하는 ‘양성 과적합’ 현상을 기존보다 훨씬 일반적인 조건 하에서 증명한다. 특히, 잡음이 있는 경우에 새로운 위상 전이를 발견하고, 공분산 행렬의 구조와 신호 강도에 대한 가정을 크게 완화한다.

상세 분석

이 연구는 기존 문헌이 제한적으로 다루어 온 ‘베인 과적합’ 현상을 두 가지 주요 축에서 확장한다. 첫째, 데이터 생성 모델을 (M)과 (EM)으로 일반화함으로써, 기존에 가정되던 서브가우시안·등방성(Σ≈I) 가정을 없애고, 공분산 행렬 Σ가 임의의 양의 반정밀 행렬일 때도 결과가 유지됨을 보였다. 특히, 사건 E₁~E₅를 통해 ‖ẐẐᵀ−I‖, ‖Ẑμ‖, ‖z_i‖의 최대값, 라벨 평균 및 잡음 라벨과의 내적 등 여러 고레벨 확률적 제어를 도입해, 각 z_i가 거의 직교하고 노름이 균일하지 않아도 충분히 큰 차원 p에서 선형 분리 가능성을 확보한다.

둘째, 잡음 비율 η∈