알고리즘 정보와 엔트로피 측도 비교

초록

이 논문은 알고리즘 정보량(Kolmogorov 복잡도)과 전통적인 확률 기반 엔트로피(Shannon, Rényi, Tsallis) 사이의 관계를 탐구한다. 재귀적 확률분포에 대해 알고리즘 엔트로피의 기대값은 상수 차이만큼 Shannon 엔트로피와 일치함을 재확인하고, 동일한 관계가 Rényi와 Tsallis 엔트로피의 일반 차수 α에 대해서는 α=1(즉 Shannon)일 때만 성립함을 보인다. 또한 시간 제한된 알고리즘 엔트로피를 도입해, 누적 확률분포가 시간 t(n) 내에 계산 가능한 경우 기대값이 무제한 버전과 같은 범위에 있음을 증명한다. 마지막으로 보편적 시간 제한 분포 m^t(x)에 대해 Tsallis와 Rényi 엔트로피가 수렴하려면 α>1이어야 함을 보여준다.

상세 분석

본 연구는 정보 이론과 알고리즘 복잡도 이론을 연결하는 고전적 결과를 확장한다. 먼저, 재귀적(probabilistically computable) 분포 P에 대해 Kolmogorov 복잡도 K(x)와 Shannon 엔트로피 H(P)의 기대값 사이에 상수 c_P가 존재함을 이용한다. 이는 K(x)≈−log P(x)+c_P 형태로 표현되며, 여기서 c_P는 P에만 의존한다. 논문은 이 관계가 Rényi 엔트로피 H_α(P)= (1/(1−α)) log ∑_x P(x)^α와 Tsallis 엔트로피 S_α(P)= (1−∑_x P(x)^α)/(α−1)에도 적용될 수 있는지를 검증한다. 수학적 유도 과정을 통해, α≠1인 경우 기대값 E_P