“마코프 순서(Markov Ordering)로 바라본 엔트로피: 불변성, 가법성, 그리고 최적 추정”

📝 Abstract

The focus of this article is on entropy and Markov processes. We study the properties of functionals which are invariant with respect to monotonic transformations and analyze two invariant “additivity” properties: (i) existence of a monotonic transformation which makes the functional additive with respect to the joining of independent systems and (ii) existence of a monotonic transformation which makes the functional additive with respect to the partitioning of the space of states. All Lyapunov functionals for Markov chains which have properties (i) and (ii) are derived. We describe the most general ordering of the distribution space, with respect to which all continuous-time Markov processes are monotonic (the {\em Markov order}). The solution differs significantly from the ordering given by the inequality of entropy growth. For inference, this approach results in a convex compact set of conditionally “most random” distributions.

💡 Analysis

**

1. 연구 배경 및 동기

• 엔트로피의 다중 해석: 물리학(볼츠만‑깁스), 정보이론(샤논), 통계역학(제이넥스) 등에서 서로 다른 의미로 사용돼 왔으며, “어떤 엔트로피가 특정 문제에 가장 적합한가?”라는 질문이 지속적으로 제기된다.
• 단조 변환 불변성: 실제 응용에서는 엔트로피 값 자체보다 **레벨 집합(level sets)**이 더 중요한데, 이는 값이 변해도 순서 관계가 유지되는 경우를 의미한다. 저자는 이 관점을 통해 함수형의 가법성을 두 가지 형태로 정형화한다.

2. 주요 이론적 기여

3. 방법론적 핵심

1. 단조 변환 불변성을 수학적으로 가법성과 분리 가능성(separability) 조건과 연결시켰다.
2. Cressie‑Read (CR) 패밀리와 Burg‑Shannon 혼합이 이 두 조건을 동시에 만족하는 유일한 함수형임을 증명하였다(λ∈ℝ, β∈

📄 Content

arXiv:1003.1377v5 [physics.data-an] 9 Nov 2013
Entropy 2010, 12, 1145‑1193; doi:10.3390/e12051145
OPEN ACCESS
entropy
ISSN 1099‑4300
www.mdpi.com/journal/entropy

논문

Entropy: The Markov Ordering Approach
Alexander N. Gorban¹,⋆, Pavel A. Gorban², George Judge³

¹ Department of Mathematics, University of Leicester, Leicester, UK
² Institute of Space and Information Technologies, Siberian Federal University, Krasnoyarsk, Russia
³ Department of Resource Economics, University of California, Berkeley, CA, USA

⋆ 교신 저자; 이메일: ag153@le.ac.uk.

Received: 2010 년 3 월 1 일; revised: 2010 년 4 월 30 일 / Accepted: 2010 년 5 월 4 일 / Published: 2010 년 5 월 7 일 / Corrected Postprint: 2013 년 11 월 9 일

초록

이 논문의 핵심은 엔트로피와 마코프 과정에 있다. 우리는 단조 변환에 대해 불변인 함수형들의 성질을 연구하고, 두 가지 불변 “가법성” 특성을 분석한다: (i) 독립 시스템의 결합에 대해 함수형을 가법적으로 만들 수 있는 단조 변환의 존재, (ii) 상태 공간의 분할에 대해 함수형을 가법적으로 만들 수 있는 단조 변환의 존재. (i)와 (ii)를 모두 만족하는 마코프 체인에 대한 모든 라야플로프 함수형을 도출한다. 연속시간 마코프 과정이 모두 단조적인 가장 일반적인 분포 공간의 순서를 제시한다(마코프 순서). 이 해는 엔트로피 성장 부등식이 주는 순서와는 크게 다르다. 추론 측면에서 이 접근법은 조건부 “가장 무작위” 분포들의 볼록하고 콤팩트한 집합을 만든다.

키워드: 마코프 과정; 라야플로프 함수; 엔트로피 함수형; 도달 가능 영역; MaxEnt; 추론

1. 서론

1.1. 약간의 역사: 고전 엔트로피

두 개의 함수, 에너지와 엔트로피가 우주를 지배한다.

1865년 R. Clausius는 두 가지 기본 법칙을 제시하였다[1]:

1. 우주의 에너지는 일정하다.
2. 우주의 엔트로피는 최대값으로 향한다.

우주는 고립계이다. 비고립계에서는 에너지와 엔트로피가 출입할 수 있으며, 에너지 변화는 유입량에서 유출량을 뺀 것이고, 엔트로피 변화는 시스템 내부에서의 엔트로피 생성량에 유입량을 더하고 유출량을 뺀 것이다. 엔트로피 생성량은 언제나 양수이다.

엔트로피는 에너지의 딸로 탄생했다. 어떤 물체가 온도 T에서 열 ΔQ를 흡수하면 그 물체에 대한 엔트로피 변화는 dS = ΔQ/T가 된다. 전체 엔트로피는 모든 물체의 엔트로피 합이다. 열은 고온 물체에서 저온 물체로 흐르며, 전체 엔트로피 변화는 언제나 양수이다.

10년 뒤 J. W. Gibbs[2]는 보존량이 주어졌을 때 조건부 엔트로피 최대점이 평형임을 보이며 복합 매질의 일반 평형 이론을 전개하였다. 엔트로피 최대 원리는 수많은 물리·화학 문제에 적용되었다. 동시에 Gibbs는 주어진 에너지 하에서 엔트로피를 최대화하는 것이 주어진 엔트로피 하에서 에너지를 최소화하는 것과 동등함을 언급하였다.

고전적인 표현

[ \sum_i p_i\ln p_i ]

는 1872년 L. Boltzmann이 H‑정리를 증명하면서 유명해졌다[3]:

[ H=\int f(x,v)\ln f(x,v),dx,dv ]

는 고립된 기체가 Boltzmann 방정식을 만족할 때 시간에 따라 감소한다(여기서 f(x,v)는 위상공간에서 입자들의 분포 밀도, x는 위치, v는 속도). 통계적 엔트로피는

[ S=-kH ]

로 정의되며, 이는 다입자 시스템(기체)의 1‑입자 엔트로피에 해당한다.

1902년 J. W. Gibbs는 “Elementary principles in statistical dynamics”[4]를 출간하였다. 그는 다입자 위상공간에서 확률밀도

[ \rho(p_1,q_1,\dots ,p_n,q_n) ]

를 고려하고, 이에 대한 엔트로피를

[ S=-k\int \rho\ln\rho,dq_1\cdots dq_n,dp_1\cdots dp_n \tag{1} ]

로 정의하였다. Gibbs는 에너지 기대값이 주어졌을 때 엔트로피를 최대화하는 정준 분포를 도입했고, 이는 MaxEnt(엔트로피 최대) 원리의 토대를 마련하였다.

Boltzmann 시대의 역사는 자세히 연구되었다[5]. 거시적(코스그레이닝) 분포에 대해 정의되는 Boltzmann 엔트로피는 기체 역학에 의해 시간에 따라 증가하지만, Gibbs 엔트로피는 역학에 의해 보존된다는 차이는 다수의 연구자에 의해 분석되었다[6,7]. 최근에는 “에너지와 엔트로피 두 함수가 우주를 지배한다”는 사상이 비평형 열역학의 두 생성자 형식에 적용되었다[8,9].

정보 이론에서 R. V. L. Hartley(1928)[10]는 전자 통신에서 심리적 요인을 배제하고 순수 물리량으로 정보량을 측정하기 위해 로그 형태의 정보를 도입하였다. 그는 알파벳 크기 s인 문자 집합에서 길이 n인 텍스트의 정보를

[ H=n\log s ]

로 정의하였다.

1948년 C. E. Shannon[11]은 Hartley의 접근을 일반화하여 “통신의 수학 이론”, 즉 정보 이론을 제시하였다. 그는 정보·선택·불확실성을 엔트로피

[ S=-\sum_{i=1}^{n}p_i\log p_i \tag{2} ]

로 측정하였다. 여기서 (p_i)는 전체 사건 집합의 확률이며 (\sum_i p_i=1)이다. Shannon은 이 형태가 통계역학에서 정의되는 엔트로피와 동일함을 언급하였다. 고전 엔트로피(1), (2)는 흔히 Boltzmann–Gibbs–Shannon(BGS) 엔트로피라 불린다. (Shannon은 (2)의 볼록 형태를 사용했지만 같은 기호 H를 사용했으며, 여기서는 볼록 H‑함수와 볼록이 아닌 엔트로피 S를 구분한다.)

1951년 S. Kullback와 R. A. Leibler[12]는 BGS 엔트로피에 상대 엔트로피(또는 Kullback‑Leibler 발산)를 도입하였다:

[ D_{\mathrm{KL}}(P|Q)=\sum_i p_i\log\frac{p_i}{q_i} \tag{3} ]

이 발산은 항상 비음이며(Gibbs 부등식) 물리적 의미를 갖는다. 만일 Q가 P와 같은 온도에서의 평형 분포라면

[ D_{\mathrm{KL}}(P|Q)=\frac{F(P)-F(Q)}{kT} \tag{4} ]

가 된다. 여기서 (F)는 자유 에너지, (T)는 열역학적 온도이다.

물리학에서 (F=U-TS)이며, 여기서 (S)는 볼츠만 상수 (k)를 포함한다. (-F/T)는 Massieu 함수라 불린다. 위 식을 통해 Kullback‑Leibler 발산이 자유 에너지 차이와 직접 연결됨을 확인할 수 있다.

평형 분포 Q는 기대 에너지 (\sum_i p_i u_i =U)와 정규화 (\sum_i p_i=1) 하에서 엔트로피(2)를 최대화한다. 라그랑주 승수 (\mu_U, \mu_0)를 도입하면 볼츠만 평형 분포는

[ q_i=\frac{\exp(-\mu_U u_i)}{\sum_j \exp(-\mu_U u_j)} \tag{5} ]

가 된다. 여기서 (\mu_U=1/kT)이므로 (S(Q)=\mu_0+U/kT)이며 (\mu_0=-F(Q)/kT)가 된다. 이를 (4)에 대입하면 Kullback‑Leibler 발산이 자유 에너지 차이와 동일함을 확인한다.

Zeldovich(1938, 1996 재출판)[13] 이후 “Kullback‑Leibler 형태”의 자유 에너지

[ F=kT\sum_i c_i\Bigl[\ln\frac{c_i}{c_i^\ast(T)}-1\Bigr] ]

가 화학 반응 속도 방정식 분석에 유용하게 쓰인다. 여기서 (c_i)는 농도, (c_i^\ast(T))는 평형 농도이다.

임의의 양의 분포 Q는 적절한 온도 (T>0)와 에너지 레벨 (u_i=-kT\ln q_i+u_0)를 선택하면 볼츠만 평형 분포로 표현될 수 있다. Kullback‑Leibler 발산의 인자를 바꾸면 Burg 상대 엔트로피가 얻어지며, 이는 “보조 에너지” 함수 (U_P)와 연결된다. 현재 분포 P에 대해 보조 자유 에너지 (F_P(Q))를 정의하면

[ D_{\mathrm{KL}}(P^\ast|P)=\frac{F_P(P^\ast)-F_P(P)}{kT} ]

가 된다. 이 함수는 주어진 평형 (P^\ast)를 갖는 모든 마코프 과정에서 감소한다.

Shannon과 그 후계자들이 발전시킨 정보 이론은 엔트로피를 주관적 선택의 불확실성 척도로 보았다. 이 관점은 E. T. Jaynes에 의해 통계역학으로 되돌아와 “주관적” 통계역학의 기반이 되었다[18,19]. 그는 “엔트로피는 인간 중심적 개념”이라는 Wigner의 생각을 이어받았다. 엔트로피 최대 원리는 주관적 불확실성 최소화로 해석되었으며, 이는 MaxEnt “아나키즘”을 낳았다. 이 접근법은 알려진 양을 고정하고 나머지는 엔트로피 최대 원리로 추정한다는 방법론적 가설에 기반한다.

이후 물리·화학·공정공학·계량경제학·심리학 등 다양한 분야에 MaxEnt가 적용되었으며, Rènyi 엔트로피[26], Burg 엔트로피[16,17], Tsallis 엔트로피[27,28], Cressie‑Read 패밀리[29,30] 등 수많은 새로운 엔트로피가 제안되었다[25]. 비선형 평균 연산과 일반화된 엔트로피 최대

이 글은 AI가 자동 번역 및 요약한 내용입니다.