예측과 역예측 그리고 현재에 저장된 정보량

초록

이 논문은 확률적 동역학 시스템을 시간 순방향과 역방향 두 관점에서 동시에 분석한다. 과거와 미래 사이의 상호정보인 과잉 엔트로피가 예측적 인과 상태와 복귀적 인과 상태 사이의 상호정보와 동일함을 증명하고, 이를 이용해 과잉 엔트로피를 직접 계산하는 방법을 제시한다. 또한 암호성(정보 접근성)과 인과적 비가역성이라는 새로운 시스템 불변량을 정의하고, 두 방향 표현을 하나의 시간대칭 표현으로 압축하는 ‘양방향 기계’를 도입한다. 이를 통해 현재가 저장하고 있는 정보량에 대한 새로운 해석을 제공한다.

상세 분석

논문은 먼저 확률적 과정의 전통적 전방 모델을 ‘예측 인과 상태(ε‑machine)’로, 역방향 모델을 ‘역예측 인과 상태(ε‑machine)’로 정의한다. 전방 ε‑machine은 과거 관측열이 주어졌을 때 미래의 통계적 분포를 최적으로 예측하는 최소한의 상태 집합이며, 역예측 ε‑machine은 미래가 주어졌을 때 과거를 복원하는 최소 상태 집합이다. 두 기계는 각각 전이 확률 행렬과 상태 간의 동등 관계를 통해 구축된다.

핵심 정리는 과잉 엔트로피 E가 과거와 미래 사이의 상호정보 I(Past;Future)와 동일하게, 예측 인과 상태와 역예측 인과 상태 사이의 상호정보 I(S⁺;S⁻)와도 일치한다는 것이다. 이를 증명하기 위해 저자는 베이즈 정리와 마코프 연쇄의 시간 반전성을 활용하여, 두 인과 상태가 각각 과거와 미래에 대한 충분통계임을 보인다. 결과적으로 E = I(S⁺;S⁻) = H(S⁺) + H(S⁻) – H(S⁺,S⁻) 로 표현된다.

이 식을 이용하면 과잉 엔트로피를 직접 계산할 수 있다. 기존 방법은 전체 과거‑미래 쌍의 확률 분포를 추정해야 했지만, 새로운 접근법은 두 ε‑machine의 상태 분포와 전이 행렬만 알면 충분히 E를 구할 수 있다. 이는 계산 복잡도를 크게 낮추며, 특히 복잡한 비마르코프 과정에 유용하다.

또한 저자는 ‘암호성(crypticity)’ χ = C_μ – E 를 정의한다. 여기서 C_μ는 통계적 복잡도, 즉 예측 인과 상태의 엔트로피이다. χ는 시스템이 내부에 저장하고 있지만 관찰 가능한 과거‑미래 통계에서는 드러나지 않는 숨은 정보를 의미한다. 역방향에서도 동일하게 χ⁻ = C_μ⁻ – E 가 정의되며, 두 값의 차이는 ‘인과적 비가역성(η) = χ – χ⁻’ 로 요약된다. η가 0이면 시스템이 시간 대칭적이며, 양수 혹은 음수이면 정보 흐름이 한쪽 방향으로 더 많이 저장됨을 나타낸다.

마지막으로 논문은 두 ε‑machine을 하나의 ‘양방향 기계(bidirectional machine)’로 통합한다. 이 기계는 상태를 (S⁺,S⁻) 쌍으로 정의하고, 전이 확률은 양쪽 방향 전이 행렬의 교차에 의해 결정된다. 양방향 기계는 전체 정보 저장량을 H(S⁺,S⁻) 로 압축하며, 이는 C_μ⁺ + C_μ⁻ – E 와 동일하다. 따라서 현재가 실제로 보유하고 있는 정보는 과잉 엔트로피와 암호성의 차이로 해석될 수 있다. 이러한 시간대칭적 표현은 시스템의 구조적 복잡성을 한눈에 파악하게 해 주며, 물리학, 생물학, 신경과학 등 다양한 분야에 적용 가능성을 제시한다.