알고리즘 정보론으로 본 차이시스 엔트로피와 비가역성

초록

본 논문은 차이시스 비가역 엔트로피를 칼루틴-콜모고로프 알고리즘 정보 이론에 기반해 최초로 유도한다. 문자열 생성 규칙을 제한함으로써 문자열 길이에 대한 알고리즘 비용이 선형이 아닌 멱법칙으로 변하고, 이때 나타나는 엔트로피는 차이시스 형태를 갖는다. 장거리 상관관계를 가진 시스템에서 열소비가 감소함을 랜다우어 한계와 연결하고, Zipf 법칙 및 Heaps 법칙과의 관계를 통해 자연 언어에서도 동일한 멱법칙이 나타남을 실증한다.

상세 분석

이 연구는 기존의 칼루틴‑콜모고로프(Chaitin‑Kolmogorov) 알고리즘 정보 이론을 확장하여, 문자열 생성에 문법적 제한을 부과했을 때 발생하는 비용 함수 C(L)의 스케일링을 분석한다. 전통적인 경우, 가능한 기호 수 M이 고정된 상태에서 최적 프로그램 길이 N은 ln M에 비례하고, 전체 비용은 C≈e^{(ln M)L} 로 선형적으로 증가한다. 이는 엔트로피 H∝L 로 표현되어 볼츠만‑깁스(BG) 엔트로피와 동일한 가법성을 갖는다.

하지만 저자들은 “제한된 문법”이라는 새로운 제약을 도입한다. 문법은 허용 가능한 N‑길이 단어의 수를 ν(n) = n^{α} 로 감소시키며, 여기서 n = L/N 이다. 이때 비용은 C≈ν(n) M^{N} 로 표현되고, 최적화 조건 δln C/δN=0을 적용하면 N=α ln M 가 도출된다. 결과적으로 비용은 C∝(ln M)^{α} L^{α} 로 변하고, 엔트로피는 H(L)=k (ln M)^{α} L^{α} 가 된다.

멱법칙 지수 α는 문법의 복잡도와 직접 연결되며, α>1이면 q=(α−1)/α ∈ (0,1) 로 정의되는 차이시스 지수 q가 등장한다. 따라서 엔트로피 증가율 dH/dL=ln M H^{q} 로 나타나며, 이는 차이시스 엔트로피 S_q= (W^{1−q}−1)/(1−q) 와 동일한 형태임을 보인다. 즉, 제한된 문법이 존재할 때 정보량은 비가역적(non‑additive)이며, 이는 기존 BG 통계의 가법성 가정을 깨뜨린다.

열역학적 함의도 중요한데, 랜다우어 한계에 따르면 최소 열소비는 k T ln 2 · Cbits이다. 여기서 Cbits는 알고리즘 비용의 비트 수이다. 멱법칙적 비용 C(L)∝L^{α} 로 인해 열소비는 선형 BG 경우보다 L^{α−1} 만큼 감소한다. 따라서 장거리 상관관계가 강한 시스템(α>1)에서는 실제 물리적 열손실이 크게 억제될 수 있음을 시사한다.

언어학적 측면에서는 ν(n)=n^{α} 가 Heaps 법칙(V∝L^{β})과 직접 연결된다. 실험적으로 0.4<β<0.6 로 관측되며, 이는 α≈β와 일치한다. 또한 Zipf 법칙 f(r)∝r^{−s} 에서 s=1/(1−q) 로 표현되며, q가 음수일 경우(α<1) 보다 급격한 빈도 편차가 나타난다. 저자들은 실제 텍스트 코퍼스를 분석해 q≈−0.25, s≈0.8 정도가 관측된다고 보고, 이는 기존 BG 기반 모델보다 차이시스 모델이 자연 언어의 통계적 특성을 더 잘 설명함을 보여준다.

수치 시뮬레이션에서는 네 가지 규칙(완전 무작위, 로컬 마르코프, 재귀적 중첩, 전역 장거리 상관)으로 문자열을 생성하고, 허용 문자열 수가 L에 대해 멱법칙적 감소를 보이는 것을 확인한다. 특히 전역 장거리 상관을 도입했을 때 α가 크게 증가해 q가 0에 가까워지며, 엔트로피가 거의 가법적에 근접한다는 점이 흥미롭다.

결론적으로, 이 논문은 알고리즘 정보 이론에 문법적 제약을 도입함으로써 차이시스 비가역 엔트로피를 첫 원리에서 유도하고, 물리학, 열역학, 언어학 등 다양한 분야에 적용 가능한 통합 프레임워크를 제시한다.