엔트로피 비율의 리프시츠 연속성 및 유한 진화 차원 소스의 존재 증명

본 논문은 이산 랜덤 소스의 엔트로피 비율을 연구한다. 먼저, 알파벳 Σ가 유한함을 가정하고, 무한 시퀀스 공간 Ω=Σ^ℕ에 대한 σ‑알gebra B를 cylinder 집합으로 생성한다. 확률 측정 P_X는 시퀀스에 대한 확률을 정의하며, 이는 (X_t)_{t∈ℕ} 라는 확률 과정과 일대일 대응한다. 전체 변동 거리 ‖P−Q‖_{TV}=sup_{t∈ℕ}∑_{v∈Σ^t}|P(v)−Q(v)| 로 정의하고, Lemma 1을 통해 이 정의가 실제 메트릭임을 확인한다. 이 메트릭은 확률 소스 간의 “전체적인” 차이를 측정한다. 엔트로피 비율은 H(P)=lim_{t→∞}H_t(P) 로 정의한다. 여기서 H_t(P)=−(1/t)∑_{v∈Σ^t}P(v)logP(v) 는 길이 t 단어 분포의 평균 엔트로피를 t 로 정규화한 값이다. 상·하 엔트로피 비율 H̅(P), Ĥ(P) 를 각각 limsup, liminf 로 정의하고, 두 값이 일치하면 엔트로피 비율이 존재한다. 주요 결과인 Theorem 1은 모든 확률 측정 P, Q에 대해 |H(P)−H(Q)| ≤ (log|Σ|)·‖P−Q‖_{TV} 가 성립함을 보인다. 증명은 다음과 같다. 먼저, 길이 t에 대한 차이 |H_t(P)−H_t(Q)| 를 d_{TV,t}(P,Q)=∑_{v∈Σ^t}|P(v)−Q(v)| 로 제한한다. 함수 h(x)=x·log(1/x) 의 특성을 이용한 Sublemma 31에 의해 |h(P(v))−h(Q(v))| ≤ h(|P(v)−Q(v)|) 가 성립한다. 이를 전체 합에 적용하면 |H_t(P)−H_t(Q)| ≤ (1/t)·d_{TV,t}(P,Q)·(t·log|Σ|+log(1/d_{TV,t}(P,Q))) 가 얻어진다. t→∞ 로 보내면 d_{TV,t}→‖P−Q‖_{TV} 이므로 최종적으로 Lipschitz 상수는 log|Σ| 가 된다. 이 결과는 Rademacher 정리와 결합해 엔트로피 비율이 거의 어디서든 미분가능함을 시사한다. 또한, 전체 변동 거리 위에서의 연속성은 확률 소스가 작은 변동을 겪을 때 엔트로피 비율이 크게 변하지 않음을 보장한다. 다음으로 논문은 “유한 진화 차원”(finite evolution dimension) 소스에 이 정리를 적용한다. 정의에 따르면, 시프트 연산자 T(v_0v_1v_2…) = v_1v_2… 에 대해 {P∘T^{-k}}_{k≥0} 가 유한 차원 선형 부분공간을 형성한다. 이러한 소스는 평균 측도 \bar P = lim_{n→∞} (1/n)∑_{i=0}^{n-1}P∘T^{-i} 가 존재하고, ‖P_n−\bar P‖_{TV}→0 (Theorem 2) 가 성립한다. 여기서 P_n 은 위 평균 측도이다. Lipschitz 연속성 덕분에 H(P_n) → H(\bar P) 가 보장된다. Lemma 5와 Corollary 2는 모든 n에 대해 H(P)=H(P_n) 와 Ĥ(P)=Ĥ(P_n) 가 성립함을 보여준다. 따라서 H(P)=H(\bar P) 가 되고, \bar P 가 정적(stationary) 측도이므로 엔트로피 비율이 존재한다는 결론을 얻는다 (Theorem 3). 예시로 숨은 마코프 소스(HMS)와 양자 랜덤 워크(QRW)를 제시한다. HMS는 숨은 마코프 모델의 관측 시퀀스로, 상태 전이 행렬과 관측 행렬이 유한 차원을 만들므로 위 이론에 바로 적용된다. QRW 역시 유한 차원 힐베르트 공간 위의 유니터리 연산과 측정으로 정의되며, 시프트 연산에 대한 선형 결합이 유한 차원을 형성한다는 점에서 동일하게 적용 가능하다. 마지막으로 논문은 다른 노름, 특히 L^p(Ω) 노름(p≥2) 에서의 연속성을 검토한다. Lemma 4는 p≥2 인 경우 전체 변동 거리와 달리 Lipschitz 연속성이 일반적으로 성립하지 않을 수 있음을 보이며, 이는 엔트로피 비율이 전체 변동 거리와 특별히 맞물려 있는 구조적 특성을 가지고 있음을 강조한다. 결론적으로, 이 논문은 엔트로피 비율을 전체 변동 거리 위에서 Lipschitz 연속함수로 자리매김시킴으로써, 기존에 복잡한 정보이론적 도구에 의존하던 존재 증명을 선형대수와 측도론적 기법만으로 단순화한다. 이는 정보 이론, 통계학, 양자 정보 등 다양한 분야에서 모델의 안정성을 평가하고, 파라미터 추정 및 학습 알고리즘의 수렴성을 분석하는 데 유용한 이론적 기반을 제공한다.