보편 확률의 Tsallis 엔트로피와 Shannon 엔트로피: 알고리즘적 무작위성 관점

초록

본 논문은 보편 확률 m에 대한 Shannon 엔트로피와 Tsallis 엔트로피, 그리고 거듭제곱 합(Power sum) ∑ m(s)^q의 수렴·발산 성질을 알고리즘적 정보 이론의 프로그램 크기 복잡도 K(s)를 이용해 분석한다. 주요 결과는 (i) H(m)와 q<1인 경우의 Tsallis 엔트로피는 무한히 발산하고, (ii) q≥1일 때 ∑ m(s)^q는 수렴하며 그 값은 최소 1/q 차원의 무작위성을 가진다. 또한 q>1인 경우 Tsallis 엔트로피는 임의의 계산 가능한 무작위 차원을 가질 수 있음을 보인다.

상세 분석

이 논문은 알고리즘적 무작위성(weakly Chaitin D‑randomness)과 압축 가능성(D‑compressibility)을 도구로 삼아, 보편 확률 m(즉, 2^{‑K(s)}와 상수 차이만 있는 반측정) 위에 정의된 정보량 지표들의 수학적 거동을 정밀히 규명한다. 먼저, 보편 확률의 정의와 K(s)=‑log₂ m(s)+O(1) 관계를 이용해, m(s)·log m(s) 형태의 합이 무한히 커짐을 보이는 정리 6과 그 직접적인 귀결인 정리 7을 제시한다. 이는 Shannon 엔트로피 H(m)=‑∑ m(s) log m(s) 가 발산한다는 사실을 즉시 도출한다.

다음으로 거듭제곱 합 P_q(m)=∑ m(s)^q 를 조사한다. 정리 8(i)는 q≥1이고 q가 오른쪽 계산 가능(right‑computable)일 때 P_q(m) 가 왼쪽 계산 가능(left‑computable) 실수로 수렴하며, 그 값은 최소 1/q 차원의 weakly Chaitin randomness 를 갖는다고 증명한다. 반대로 0<q<1이면 정리 8(ii)와 정리 9에 의해 P_q(m)는 무한대로 발산하고, 만약 P_q(m) 가 오른쪽 계산 가능이라면 q 자체가 1/q 차원의 무작위성을 가져야 함을 역으로 보여준다.

정리 10은 “모든 보편 확률에 대해 q>1이면 P_q(m) 가 1/q‑compressible”라는 직관을 부정한다. 구체적으로, 특정 보편 확률 m을 구성해 m(λ) 를 θ(=∑ 2^{‑K(s)})와 상수 차이로 조정함으로써, 모든 계산 가능한 q>1에 대해 P_q(m) 가 weakly Chaitin random (즉, 1/q‑compressible이 아님) 임을 보인다. 이는 보편 확률의 선택에 따라 무작위성 차원이 자유롭게 조절될 수 있음을 의미한다.

마지막으로 Tsallis 엔트로피 S_q(m)= (1‑∑ m(s)^q)/(q‑1) 를 다룬다. q>1인 경우 정리 11에 의해 S_q(m) 은 임의의 계산 가능한 무작위성 차원을 가질 수 있음을 보이며, q<1이면 정리 12에 의해 S_q(m) 가 무한히 발산한다. q→1 한계에서는 Shannon 엔트로피와 일치함을 확인한다.

전체적으로 논문은 프로그램 크기 복잡도와 보편 확률 사이의 깊은 연결고리를 활용해, 전통적인 정보 이론량(Shannon, Tsallis)과 알고리즘적 무작위성 사이의 정량적 관계를 새롭게 정립한다. 특히 “무작위성 차원”(degree of randomness)이라는 개념을 통해, 수렴/발산 여부뿐 아니라 그 수렴값이 얼마나 ‘무작위’한지를 정밀히 측정한다는 점이 혁신적이다. 이러한 접근은 알고리즘적 정보 이론을 물리학·통계역학의 비정통적 엔트로피 개념과 연결시키는 다리 역할을 하며, 복잡계·암호학·무작위 알고리즘 설계 등 다양한 분야에 이론적 토대를 제공한다.