알고리즘 정보 이론: 콜모고로프 복잡도와 의미론적 구조

이 논문은 알고리즘 정보 이론, 즉 콜모고로프 복잡도(Kolmogorov complexity)를 중심으로 정보량을 정의하고 그 응용을 탐구한다. 서론에서는 정보량을 측정하는 두 전통적 방법, 샤논의 확률적 정보 이론과 콜모고로프의 비확률적 알고리즘 이론을 비교한다. 샤논 이론은 확률분포에 대한 평균 코드 길이를 최소화하는 압축을 다루는 반면, 콜모고로프 복잡도는 특정 문자열을 생성하는 가장 짧은 프로그램의 비트 수로 정의한다. 이 정의는 프로그래밍 언어에 따라 차이가 있을 수 있지만, 불변성 정리(invariance theorem)에 의해 서로 다른 보편적 언어 사이의 복잡도 차이는 상수 C 이하로 제한된다. 따라서 복잡도는 언어에 독립적인 절대적 정보량을 제공한다. 2장에서는 콜모고로프 복잡도의 기본 정의와 핵심 성질을 소개한다. 복잡도 K(x)는 유한 이진 문자열 x에 대해 “x를 출력하고 종료하는 가장 짧은 프로그램과 입력의 길이 합”으로 정의된다. 주요 성질로는 (a) 단순한 문자열은 로그 규모의 복잡도(K(x)=O(log n))를 갖고, (b) 무작위 문자열은 길이와 거의 동일한 복잡도(K(x)=n+O(log n))를 가지며, (c) 확률적 생성 과정에 의해 나온 문자열은 엔트로피율에 비례하는 선형 복잡도(K(x)=αn+o(n))를 가진다. 또한, 불변성 정리와 복잡도의 계산 불가능성(uncomputability)을 증명한다. 복잡도는 재귀적으로 계산할 수 없으며, 이는 어느 프로그램도 모든 입력에 대해 정확한 K(x)를 출력할 수 없음을 의미한다. 그러나 상위 반감 가능성(upper semicomputability)을 통해 점진적인 근사값을 얻을 수 있다. 3장에서는 콜모고로프 복잡도의 기술적 세부 사항을 다룬다. 여기서는 튜링 기계와 유니버설 언어, 프리픽스 자유 코딩(prefix‑free coding) 등을 도입해 정의를 형식화한다. 프리픽스 자유 코딩은 프로그램과 입력을 구분 없이 연속된 비트열로 표현할 수 있게 하여, 프로그램이 입력을 읽는 과정에서 종료 신호를 명시적으로 필요로 하지 않는다. 이를 통해 K(x)의 정의가 보다 엄밀해진다. 4장과 5장에서는 복잡도와 확률, 엔트로피 사이의 관계를 심도 있게 분석한다. 특히, 독립적인 동전 던지기와 같은 i.i.d. 과정에서 생성된 문자열의 복잡도는 n·H(p)+o(n)으로, 여기서 H(p)는 이진 엔트로피이다. 이는 샤논 엔트로피와 직접적인 연결고리를 제공한다. 또한, 마코프 체인과 같은 의존적 확률 모델에서도 비슷한 선형 성장 형태가 유지됨을 보인다. 핵심적인 새로운 개념인 콜모고로프 구조 함수(Kolmogorov structure function)는 6장에서 소개된다. 구조 함수 S_x(α)는 “복잡도 ≤α인 모델 중에서 x를 가장 잘 설명하는 모델의 로그 가능도”를 나타낸다. 이를 통해 데이터의 구조적(의미 있는) 정보와 무작위 정보 사이의 트레이드오프를 정량화한다. 구조 함수를 최소화하는 α값은 최소 설명 길이 원리(MDL, Minimum Description Length)와 동일한 선택 기준을 제공한다. 즉, 가장 짧은 설명(프로그램)과 가장 높은 데이터 적합도 사이의 균형을 찾는 것이 과학적 귀납에서의 최적 가설 선택과 일치한다. 7장에서는 이러한 수학적 결과가 철학에 미치는 영향을 논한다. 정보량을 절대적인 수치로 정의함으로써, 이론 선택, 귀납, 의미론적 해석 등에 새로운 객관적 기준을 제시한다. 특히, 오컴의 면도날을 정량적으로 구현함으로써 “단순함”과 “설명력” 사이의 균형을 수학적으로 평가할 수 있다. 또한, 복잡도 이론이 물리학, 통계학, 인공지능 등 다양한 분야에서 어떻게 활용될 수 있는지 사례를 들어 설명한다. 결론에서는 콜모고로프 복잡도가 이론적 컴퓨터 과학, 정보 이론, 통계학, 철학을 연결하는 교량 역할을 하며, 앞으로의 연구 방향으로 구조 함수의 계산 가능성 향상, 실제 데이터에 대한 적용 사례 확대, 그리고 철학적 논의와의 심층적 통합을 제시한다.