PAC 학습 가능성과 VC 차원의 새로운 동등성: 마틴의 공리 아래에서

초록

본 논문은 마틴의 공리(MA)를 가정할 때, 모든 개념 클래스에 대해 PAC 학습 가능성 ⇔ 유한 VC 차원이라는 동등성을 증명한다. 기존에 측정 가능성 가정이 필요하다고 알려진 정리를, CH 대신 훨씬 약한 MA로 일반화함으로써, VC 차원 1인 클래스가 PAC 학습 가능하면서도 균일 Glivenko‑Cantelli가 아닐 수 있다는 기존 예시를 재해석한다.

상세 분석

논문은 먼저 통계 학습 이론의 기본 정리(Theorem 1)를 재검토한다. 이 정리는 “분포 자유 PAC 학습 가능”, “균일 Glivenko‑Cantelli”, “유한 VC 차원”이 서로 동등하다고 주장하지만, 실제 증명 과정에서 클래스 C에 대한 측정 가능성 가정(이미지 admissible Souslin, well‑behaved class 등)이 필수적임을 지적한다. 이러한 가정이 없을 경우, CH를 이용해 만든 반례가 존재한다. Durst‑Dudley가 제시한 VC 차원 1의 클래스는 균일 Glivenko‑Cantelli가 아니며, Blumer·et al.이 제시한 변형은 일관적인 PAC 학습이 불가능하다.

핵심 기여는 마틴의 공리(MA)를 도입해 이러한 반례를 “PAC 학습 가능하지만 균일 Glivenko‑Cantelli는 아니다”라는 현상과 연결시키는 것이다. MA는 CH보다 약하지만, 비원자적 표준 확률 공간에서 2^{ℵ₀} 미만의 집합들의 합집합이 여전히 영집합임을 보장한다(정리 9). 이를 이용해 논문은 다음 두 가지 중요한 결과를 얻는다.

1. Lemma 10: MA 하에서는 모든 <2^{ℵ₀} 크기의 부분클래스가 균일 Glivenko‑Cantelli가 되며, 이는 “모든 가산 부분클래스가 균일 Glivenko‑Cantelli”와 동치임을 보인다. 즉, 측정 가능성 가정 없이도 충분히 큰(하지만 연속체보다 작은) 부분클래스에 대해 균일 수렴을 확보할 수 있다.

2. Theorem 2: MA를 가정하면, 임의의 개념 클래스 C(보편적으로 측정 가능한 하위집합들의 모임)에 대해 “분포 자유 PAC 학습 가능” ⇔ “VC 차원이 유한”이 성립한다. 여기서 (2)⇒(1) 방향이 새롭게 증명된다. 기존에 (1)⇒(2)만 알려졌던 반면, MA를 활용해 (2)⇒(1)도 일반적으로 성립함을 보인다.

증명 전략은 “첫 번째로 등장하는 일관된 개념”을 선택하는 학습 규칙 L을 정의하고, 이 규칙이 생성하는 이미지 클래스 L_C가 <2^{ℵ₀} 크기의 균일 Glivenko‑Cantelli 클래스임을 MA를 통해 확보하는 것이다. 그런 다음 Lemma 8을 적용해 L이 PAC 학습 규칙임을 확인한다.

또한 논문은 기존 CH 기반 반례를 MA 하에서도 동일하게 재구성한다. CH가 보장하는 전순서(≺)를 대신해 MA가 보장하는 “잘 정렬된” 구조를 이용해, 각 샘플에 대해 최소 일관 개념을 선택하도록 설계한다. 이때 생성된 부분클래스는 가산이므로 균일 수렴이 보장되고, 따라서 전체 클래스는 PAC 학습 가능하지만 균일 Glivenko‑Cantelli는 아니다는 점을 보여준다.

결과적으로, 마틴의 공리는 측정 가능성 가정 없이도 VC 차원과 PAC 학습 가능성 사이의 고전적인 동등성을 회복시키는 충분조건이며, CH와 달리 ZFC와 호환되는 독립적인 선택 공리이다. 이는 통계 학습 이론에서 “측정 가능성”이라는 기술적 가정을 완화하고, 보다 일반적인 수학적 기반 위에 학습 이론을 놓을 수 있음을 시사한다.