효과적 정보와 학습 이론: 알고리즘 복잡도·샤논·VC‑엔트로피의 통합

이 논문은 물리적 시스템을 입력 X와 출력 Y를 갖는 메모리리스 채널로 모델링하고, 시스템이 특정 출력 y를 생성했을 때 입력에 대한 사전(p₍X₎)과 베이즈 역전(p̂₍X|y₎) 사이의 Kullback‑Leibler 발산을 **효과적 정보(effective information, ei)** 로 정의한다. 균등 사전을 사용함으로써 ei는 입력 전이미지(pre‑image)의 크기를 로그 스케일로 측정한다: ei(f,y)=log₂|X|−log₂|f⁻¹(y)|. 전이미지가 작을수록 출력은 더 많은 정보를 제공한다는 직관적 해석이 가능하다. 다음으로, 저자는 이 정의를 Kolmogorov 복잡도와 연결한다. 보편적 튜링 기계 T에 대한 솔로몬오프 사전 p_T(s)와 K(s)=−log₂p_T(s) 를 이용해, T를 특정 결정론적 시스템 f로 교체하면 p_f(y)=∑_{x:f(x)=y}2^{-len(x)} 로 정의되는 **효과적 사전**이 생기고, ei(f,y)=−log₂p_f(y) 가 Kolmogorov 복잡도의 비보편적, 계산 가능한 버전이 된다. 즉, 효과적 정보는 복잡도와 정보량 사이의 다리 역할을 한다. 학습 이론 부분에서는 유한 입력 집합 X와 모든 라벨링을 포함하는 가설 공간 Σ_X를 정의하고, 제한된 함수 집합 F⊂Σ_X와 데이터 D={d₁,…,d_l}에 대해 경험적 위험 최소화 알고리즘 L_{F,D} 를 도입한다. 이 알고리즘은 주어진 라벨링을 입력으로 받아 최소 위험을 갖는 가설을 반환한다. 두 가지 주요 정리를 통해 효과적 정보와 학습 이론의 핵심 용량 측도들을 연결한다. 1. **Proposition 1**: ei(L,0)=log₂p_L(0)=l+V(F,D) . 여기서 V(F,D)=log₂|{(f(d₁),…,f(d_l)) : f∈F}| 는 경험적 VC‑엔트로피이며, ε=0(완전 적합) 상황에서 발생하는 효과적 정보는 샘플 수 l과 VC‑엔트로피의 합과 같다. 이는 학습 알고리즘이 완벽히 맞출 때 배제된 가설의 절대 수와 직접 연관된다. 2. **Proposition 2**: E_{ε}