마코프 순서 기반 엔트로피 이론

초록

이 논문은 엔트로피와 마코프 과정의 관계를 탐구한다. 단조 변환에 대해 불변인 함수형을 정의하고, 독립 시스템 결합과 상태 공간 분할에 대한 두 종류의 가법성을 분석한다. 이러한 가법성을 만족하는 모든 연속시간 마코프 사슬의 라야푸노프 함수와 가장 일반적인 분포 순서를 ‘마코프 순서’라 명명한다. 결과적으로 조건부 최대 무작위 분포를 이루는 볼록하고 컴팩트한 집합을 제시한다.

상세 분석

본 연구는 엔트로피와 마코프 연속시간 과정 사이의 구조적 연결고리를 새롭게 정의한다. 먼저 함수형 F(p) 가 단조 변환 φ 에 대해 불변(invariant)하다는 조건을 도입한다. 즉, φ(F(p)) 가 동일한 순서 관계를 유지한다는 의미이며, 이는 전통적인 엔트로피(Shannon, Kullback‑Leibler 등)와 달리 함수형 자체가 변환에 따라 형태가 바뀔 수 있음을 허용한다. 논문은 두 가지 “가법성(additivity)”을 제시한다. (i) 독립 시스템 A, B 의 결합에 대해 φ(F(p_A⊗p_B)) = φ(F(p_A)) + φ(F(p_B)) 가 되는 변환 φ 의 존재 여부, (ii) 상태 공간 Ω 을 Ω₁∪Ω₂ 와 같이 분할했을 때 φ(F(p|{Ω₁∪Ω₂})) = φ(F(p|{Ω₁})) + φ(F(p|_{Ω₂})) 가 성립하는 변환의 존재 여부이다. 이 두 가법성은 각각 “시스템 결합 가법성”과 “공간 분할 가법성”이라 부르며, 전자는 복합 시스템의 전체 무작위성을 독립 부분의 무작위성 합으로 표현하고, 후자는 공간을 어떻게 나누어도 전체 무작위성이 부분들의 합으로 보존된다는 강력한 제약을 의미한다.

논문은 이러한 가법성을 만족하는 모든 연속시간 마코프 사슬에 대한 라야푸노프 함수(즉, 시간에 따라 단조 감소하는 함수)를 완전히 분류한다. 핵심 결과는 “마코프 순서(Markov order)”라는 새로운 전순서(preorder)를 정의함으로써 얻어진다. 마코프 순서는 두 확률분포 p, q 에 대해, 모든 마코프 연산자 M(t) (시간 t≥0) 가 적용될 때 M(t)p ≼ M(t)q 가 항상 성립하면 p≼q 라고 정의한다. 이 순서는 전통적인 엔트로피 증가 순서(즉, H(p)≤H(q) 이면 p≼q)와는 다르게, 마코프 연산자의 전체 동역학을 고려한다는 점에서 훨씬 강력하고 미세한 구분을 제공한다. 특히, 마코프 순서는 “모든 연속시간 마코프 과정에 대해 단조 감소”라는 라야푸노프 성질을 보장하는 함수형들의 집합과 일대일 대응한다.

또한, 논문은 이 순서를 이용해 조건부 “가장 무작위” 분포, 즉 주어진 제약(예: 기대값, 순간수 등)을 만족하면서 마코프 순서상 가장 큰(가장 무작위) 분포들의 집합을 정의한다. 이 집합은 볼록하고 컴팩트하며, 전통적인 최대 엔트로피 원칙이 제공하는 단일 분포 대신 전체 가능한 최적 분포들의 다면체를 형성한다. 따라서 베이즈 추론이나 정보 이론적 최적화 문제에서 보다 풍부한 해석 공간을 제공한다는 점이 강조된다.

결과적으로, 이 연구는 엔트로피와 마코프 과정 사이의 관계를 단순히 “시간에 따라 엔트로피가 증가한다”는 정량적 서술을 넘어, 함수형의 불변성, 가법성, 그리고 새로운 순서 구조를 통해 정성적·정량적 통합을 시도한다. 이는 정보 이론, 통계 물리, 그리고 확률적 추론 분야에서 기존 방법론을 확장하거나 대체할 수 있는 강력한 이론적 토대를 제공한다.