무작위와 차원 사이의 발산 공식

초록

이 논문은 유한 알파벳 위의 무한 문자열 S에 대해, 확률 측도 β에 대한 구성적 차원 dim^β(S)와 강한 차원 Dim^β(S)를 정의하고, 이 두 차원이 α‑무작위 문자열 R의 압축율을 β와의 Kullback‑Leibler 발산을 통해 정확히 표현한다는 발산 공식을 증명한다. 공식은 dim^β(R)=Dim^β(R)=H(α)/(H(α)+D(α‖β))이며, 여기서 H는 α의 셰넌 엔트로피, D는 α와 β 사이의 KL 발산이다. α와 β는 계산 가능하고 양의 확률분포여야 한다.

상세 분석

논문은 먼저 구성적 차원(dim)과 강한 차원(Dim)의 정의를 Billingsley 차원의 알고리즘적 버전으로 제시한다. 기존의 구성적 차원은 무작위성 테스트와 압축률 사이의 관계를 통해 정의되며, β‑측도에 대한 가중치를 부여함으로써 dim^β와 Dim^β를 얻는다. 이때 β가 균등분포이면 기존 차원과 일치한다는 점이 확인된다. 핵심 정리는 α‑무작위(즉, α에 대해 마팅게일 성공률이 1인) 무한 문자열 R에 대해 dim^β(R)와 Dim^β(R) 모두가 동일한 값으로 수렴한다는 것이다. 이를 증명하기 위해 저자는 마팅게일 기반 압축기와 정보량 함수의 상한·하한을 정밀히 분석한다. 특히, α‑무작위성은 R의 초기 블록이 α에 의해 기대되는 빈도와 거의 일치함을 의미하므로, R의 β‑가중 압축률은 α의 엔트로피 H(α)와 α와 β 사이의 Kullback‑Leibler 발산 D(α‖β) 사이의 선형 조합 형태로 나타난다. 수식 dim^β(R)=H(α)/(H(α)+D(α‖β))는 압축률이 β에 대해 얼마나 효율적인지를 정확히 정량화한다. 여기서 D(α‖β)≥0이며, β가 α와 동일하면 D=0이므로 차원은 1이 된다(완전 무작위). 반대로 β가 α와 크게 다르면 D가 커져 차원이 0에 가까워진다. 논문은 또한 강한 차원 Dim^β가 동일한 값을 갖는 이유를, 강한 차원이 lim sup 압축률을 사용함에도 불구하고 α‑무작위성으로 인한 거의 확실한 수렴성을 보이는 마팅게일의 균등 수렴 특성에 기인한다는 점을 강조한다. 마지막으로 저자는 이 발산 공식이 두 확률측도 간의 “알고리즘적 유사도”를 측정하는 새로운 지표가 될 수 있음을 제안하고, 데이터 압축, 무작위성 추출, 그리고 프랙탈 차원 연구에의 잠재적 응용 가능성을 논의한다.