열거 가능한 분포와 무작위성, 의존성

초록

이 논문은 무한 시퀀스와 그 유한 접두어에 대한 상호 정보량을 정의하기 위해, 전통적인 측도 대신 반측도(semimeasure)를 이용한 새로운 콜모고로프 복잡도 이론을 제시한다. 제시된 하한 i(α:β)=supₓ(K(x)−K(x|α)−K(x|β))가 마틴‑로프 무작위 시퀀스에 대해 정확히 일치함을 보이고, 모든 시퀀스에 대해 I(α:β)는 U(α′)=α, U(β′)=β인 무작위 시퀀스 α′,β′에 대한 i(α′:β′)의 최소값으로 특성화한다.

상세 분석

논문은 먼저 기존 정보이론에서 무한 시퀀스 간의 상호 정보량(I) 정의가 불완전하거나 모호하다는 점을 지적한다. 전통적인 접근은 확률측도에 기반하지만, 무한 시퀀스의 경우 측도가 완전히 정의되지 않거나 비가산적인 경우가 많아 실용적인 계산이 어려워진다. 이를 해결하기 위해 저자는 ‘반측도(semimeasure)’라는 개념을 도입한다. 반측도는 여러 측도의 하한(infimum)으로 정의되며, 선형이 아닌 볼록(concave) 성질을 가진다. 이러한 비선형성 때문에 일반적인 콜모고로프 복잡도(Kolmogorov Complexity)와 직접적인 연산이 복잡해지지만, 반측도는 열거 가능한(Enumerable) 분포를 포괄적으로 표현할 수 있어 이론적·실제적 상황을 동시에 포착한다.

핵심 기술은 두 시퀀스 α와 β 사이의 정보량을 아래와 같이 하한을 설정한 점이다.
i(α:β)= supₓ