콜모고로프 복잡성 입문

초록

본 논문은 Kolmogorov 복잡성의 기본 개념과 주요 정리를 간략히 소개한다. 정보 이론과 알고리즘적 복잡도 사이의 관계를 설명하고, 핵심 참고문헌으로 Cover‑Thomas와 Li‑Vítányi의 교재를 제시한다.

상세 분석

Kolmogorov 복잡성은 문자열을 가장 짧게 기술할 수 있는 프로그램의 길이로 정의된다. 여기서 프로그램은 보편 튜링 기계(UTM) 위에서 실행되는 이진 코드이며, 복잡도 K(x)는 “최소 프로그램 길이”를 의미한다. 정의상의 핵심은 선택한 UTM에 따라 K(x)의 절대값이 달라질 수 있지만, 서로 다른 UTM 사이에는 상수 차이만 존재한다는 불변 정리(Invariance Theorem)이다. 즉, 어떤 두 보편 기계 U와 V에 대해 존재하는 상수 c에 대해 K_U(x) ≤ K_V(x)+c 가 성립한다. 이 정리는 Kolmogorov 복잡성을 기계 독립적인 개념으로 만든다.

복잡도와 확률분포의 관계는 코딩 정리(Kraft‑McMillan inequality)와 연결된다. 확률분포 P에 대해 기대 복잡도 E