평문 콜모고로프 복잡도에 대한 가법정리

초록

이 논문은 두 문자열 (a, b)의 평문 Kolmogorov 복잡도 C(a,b)를 접두어‑자유 복잡도 K와 평문 조건부 복잡도 C를 이용해
C(a,b)=K(a | C(a,b)) + C(b | a, C(a,b)) + O(1)
이라는 정확한 형태로 표현한다. 기존의 O(log n) 오차를 O(1)로 개선한 대칭 정보 성질을 새로운 방식으로 증명한다.

상세 분석

본 논문은 알고리즘 정보 이론에서 가장 기본적인 관계인 “쌍의 복잡도는 구성요소들의 복잡도의 합”을 평문 Kolmogorov 복잡도 C와 접두어‑자유 복잡도 K 사이의 혼합 형태로 정밀하게 기술한다. 기존에 알려진 Kolmogorov–Levin 정리는 C(a,b)=C(a)+C(b|a)+O(log n) 형태이며, 여기서 O(log n) 항은 절대적으로 제거할 수 없다는 것이 알려져 있었다. Levin은 이를 개선해 K(a,b)=K(a)+K(b|a,K(a))+O(1)라는 O(1) 정확도의 식을 제시했으며, 이는 접두어‑자유 복잡도 K에 한정된 결과였다.

본 논문은 이러한 배경을 바탕으로, 평문 복잡도 C에도 O(1) 정밀도의 가법정리를 도입한다. 핵심 정리는

 C(a,b)=K(a | C(a,b)) + C(b | a, C(a,b)) + O(1).

여기서 첫 번째 항은 a를 복구하기 위해 C(a,b)의 값을 알고 있을 때 필요한 최소 접두어‑자유 프로그램 길이이며, 두 번째 항은 a와 C(a,b)를 알고 있을 때 b를 복구하는 평문 조건부 프로그램 길이이다.

증명은 두 방향 부등식으로 구성된다. “≤” 방향은 K(a | C(a,b))와 C(b | a, C(a,b))를 각각 구현하는 프로그램 p와 q를 만든 뒤, p가 자기‑구분(self‑delimiting) 특성을 갖기 때문에 p와 q를 순서대로 이어 붙이면 전체 길이가 |p|+|q|+O(1)이며 이는 C(a,b)의 상한이 된다. “≥” 방향은 C(a,b)=n을 고정하고, C(x,y)≤n인 모든 쌍을 열거함으로써 a에 대한 사전확률 P(a|n)을 정의한다. 이때 K(a|n)≤−log P(a|n)+O(1)=n−log N_a+O(1)이며, N_a는 조건 n을 만족하는 y의 개수이다. 동시에 C(b|a,n)≤log N_a+O(1)이다. 두 식을 합치면 원하는 등식이 얻어진다.

정리 1을 이용하면 여러 알려진 O(1) 정밀도의 관계를 즉시 도출할 수 있다. 예를 들어 C(a)=K(a | C(a))와 C(b)=C(b | C(b))가 바로 따라오며, 이는 “C(u | C(u))=K(u | C(u))”라는 동등식으로 귀결된다. 또한, a가 b의 계산가능한 함수 f(b)라면 C(b)=K(f(b) | C(b))+C(b | f(b),C(b))라는 형태도 얻어진다.

논문은 또한 “C와 K를 교환하는 형태”가 불가능함을 보인다. 구체적으로 무한히 많은 (x,y) 쌍에 대해 C(x,y)≥C(x)+K(y|x)+log n−2 log log n−O(1)임을 구성함으로써, C와 K를 뒤바꾸는 대칭식이 일반적으로 성립하지 않음을 증명한다. 마지막으로, 모든 x,y에 대해 고유한 (k,l) 쌍이 존재함을 보이며, 이는 C(x|l)=k, C(y|x,k)=l을 만족하고 C(x,y|k,l)=k+l이라는 고정점 성질을 가진다. 이 결과는 K(y|x)를 단순히 “y를 x로 변환하는 최소 접두어‑자유 프로그램 길이”로 정의할 수 없다는 중요한 통찰을 제공한다.

전체적으로 본 논문은 평문 복잡도와 접두어‑자유 복잡도 사이의 미묘한 관계를 명확히 하며, O(1) 정밀도의 가법정리를 통해 기존의 로그 오차를 완전히 없앴다. 이는 알고리즘 정보 이론에서 대칭 정보(Symmetry of Information)와 복잡도 분해에 대한 이해를 한층 깊게 만든다.