노프리런치와 옥숨의 면도날: 알고리즘 정보이론으로 보는 범용 학습 편향

초록

이 논문은 No Free Lunch 정리가 “모든 문제를 균등하게 가정하면 일반 알고리즘은 무작위와 다를 바 없다”는 점을 지적하고, Kolmogorov 복잡도에 기반한 비균등 사전(옥숨의 면도날)을 도입함으로써 구조화된 문제들에 대해 자유점(free lunch)을 얻을 수 있음을 보인다. 또한, 솔로모프 귀납을 오프라인 분류에 적용한 새로운 알고리즘 A*를 제시하고, 무작위 학습 데이터 선택이 오차율을 감소시키는 휴리스틱을 이론적으로 증명한다.

상세 분석

논문은 먼저 전통적인 NFL 정리(특히 Wolpert의 정리)를 재정리하고, 그 가정이 “문제 공간 전체에 대해 균등 분포”라는 비현실적인 전제에 기반함을 강조한다. 실제 세계에서는 대부분의 문제들이 구조화되어 있어 짧은 프로그램으로 기술될 수 있다는 점에서 Kolmogorov 복잡도와 Solomonoff 사전(M)이라는 비균등 사전이 자연스럽게 등장한다. 저자는 M을 정규화한 Mₙₒᵣₘ을 사용해 기대 손실을 재정의하고, 이 사전 하에서는 무작위 알고리즘보다 더 나은 성능을 보이는 “free lunch”가 존재함을 Proposition 1과 Lemma 10을 통해 증명한다. 특히, 훈련 데이터가 전체 입력 집합 X의 2ⁿ⁻ᵏ 만큼만 제공될 때, 충분히 큰 n에 대해 기대 손실이 ½보다 작아지는 알고리즘 A가 존재함을 보인다.

핵심 기술적 기여는 복잡도 기반 오프라인 분류 알고리즘 A이다. A는 훈련 데이터와 일치하는 가장 단순한 함수 ˜f를 찾고(즉, K_M(˜f;X) 최소화), 이를 테스트 입력에 그대로 적용한다. 이는 “가장 간단한 가설을 선택한다”는 옥숨의 면도날을 정량적으로 구현한 것으로, 함수 복잡도가 낮을수록 일반화 오류가 작아짐을 정리적으로 보인다. 또한, 훈련 샘플을 무작위로 선택하면, 복잡도가 낮은 가설이 훈련 데이터에 더 자주 일치하게 되어 기대 손실이 감소한다는 직관을 정리적으로 증명한다.

한계점도 명시한다. Solomonoff 사전과 Kolmogorov 복잡도는 비계산적이며, 제안된 알고리즘은 “계산 가능한 한계에서”만 구현 가능하다. 또한, 논문은 최적화 문제에 대한 논의를 생략하고, 분류 문제에 한정함으로써 활성 학습(active learning)과의 차이를 인정한다. 마지막으로, M과 같은 비균등 사전이 실제 데이터에 얼마나 잘 맞는지는 경험적 검증이 필요하다는 점을 남긴다.

전체적으로 논문은 NFL 정리와 옥숨의 면도날 사이의 겉보이는 모순을 해소하고, 알고리즘 정보이론을 통해 “보편적인 편향”이 존재함을 이론적으로 뒷받침한다. 이는 도메인 특화 지식이 전혀 필요 없다는 주장보다는, 구조화된 문제에 대한 사전 지식(복잡도 기반)이 알고리즘 설계에 필수적임을 강조한다.