마진 조건 하에서 CART 분류기의 위험 경계

초록

본 논문은 이진 분류 문제에서 마진 조건을 가정하고, CART(분류·회귀 트리) 알고리즘의 위험 상한을 이론적으로 분석한다. 최대 깊이의 완전 트리를 구축한 뒤, 선형 페널티를 이용한 가지치기 과정이 마진 조건 하에서 정당함을 증명하고, 테스트 샘플을 이용한 최종 모델 선택이 베이즈 분류기의 추정 정확도를 크게 손상시키지 않음을 보인다.

상세 분석

이 연구는 두 가지 핵심 질문에 답한다. 첫째, 마진 조건(Margin Condition)이 존재할 때, CART가 생성하는 최대 깊이 이진 트리(maximal deep binary tree)를 전제로 한 위험(Risk) 상한을 어떻게 제시할 수 있는가? 둘째, CART의 전통적인 가지치기(pruning) 단계에서 사용되는 선형 형태의 페널티가 이론적으로 정당한가?
논문은 먼저 이진 분류 프레임워크를 정의하고, 마진 조건을 “(P{Y=1|X}=1/2) 근처에 확률 질량이 적다”는 형태로 수학화한다. 이 조건은 실제 데이터에서 클래스 간 경계가 명확히 구분되는 경우에 해당하며, 기존의 VC 차원 기반 일반화 경계보다 더 촘촘한 결과를 제공한다.
그 다음, 최대 깊이 트리를 구성하는 과정에서 각 노드의 분할은 순수하게 훈련 데이터에 의존한다. 이때, 트리의 복잡도는 리프 노드 수 ( |T| ) 로 측정되며, 위험 상한은 다음과 같은 형태를 가진다:
\