모든 엔트로피의 극대화와 불확실성의 불확실성

초록

본 논문은 연속시간 마코프 과정에서 모든 연속적인 엔트로피가 동시에 증가하도록 하는 가장 일반적인 순서를 정의하고, 그 순서에 따라 “조건부 가장 무작위적인” 확률분포들의 집합을 제시한다. 각 분포는 자신만의 엔트로피를 최대화하며, 이는 비평형 시스템 분석에서 불가피한 ‘불확실성의 불확실성’을 의미한다. 저자들은 두 가지 마코프 분해 정리를 이용해 이 집합을 구성하는 방법을 제시한다.

상세 분석

논문은 먼저 전통적인 Maxent 접근법이 단일 엔트로피(보통 볼츠만‑가우스‑샤논)를 최대화함으로써 주어진 제약조건 하에서 가장 ‘무작위적인’ 확률분포를 찾는 방법임을 상기한다. 그러나 20세기 후반에 등장한 다양한 비클래식 엔트로피(예: Rényi, Tsallis, κ‑entropy 등)는 각각 다른 수학적 성질과 물리적 해석을 제공하면서, 어느 엔트로피를 선택해야 할지에 대한 ‘엔트로피 선택의 무정부주의’를 초래한다. 저자들은 이를 해결하기 위해 엔트로피를 “불확실성의 측도”로 보는 관점을 유지하면서, 모든 연속시간 마코프 과정이 단조적으로 증가하는 가장 일반적인 순서, 즉 ‘마코프 순서’를 정의한다. 마코프 순서는 두 확률분포 p와 q에 대해, 모든 마코프 연산자 M에 대해 M(p) ≼ M(q) 가 성립하면 p ≼ q 로 정의된다. 이 순서는 기존의 볼츠만‑가우스‑샤논 엔트로피에 국한되지 않고, 연속적인 엔트로피 전반에 걸쳐 단조성을 보장한다.

마코프 순서를 기반으로 하면, 주어진 제약조건(예: 평균값, 순간량 등) 하에서 “조건부 가장 무작위적인” 분포들의 집합 𝔐이 정의된다. 흥미롭게도 𝔐에 속하는 각 분포는 자신에게 가장 적합한 엔트로피 함수를 통해 최대화된다. 즉, 하나의 제약조건에 대해 여러 엔트로피가 동시에 최적화될 수 있다는 점에서 기존 Maxent의 단일 최적화와는 근본적으로 다르다. 이는 ‘불확실성의 불확실성(uncertainty of uncertainty)’이라는 개념으로, 비평형 시스템에서 어느 엔트로피를 선택하든 어느 정도의 모호함이 남는다는 물리적·수학적 사실을 반영한다.

구성적 측면에서 저자들은 두 가지 마코프 분해 정리를 제시한다. 첫 번째 정리는 임의의 마코프 연산자를 순환적인 두 단계 연산(대칭·비대칭)으로 분해함으로써, 마코프 순서의 극대화 조건을 선형적인 부등식 형태로 변환한다. 두 번째 정리는 연속시간 마코프 과정의 발생기(generator)를 기본적인 ‘단일 전이’ 연산들의 합으로 표현하여, 𝔐의 경계와 내부를 명시적으로 기술한다. 이러한 정리들은 기존의 라그랑주 승수법이나 변분법 없이도 𝔐을 직접 계산하거나 근사할 수 있는 알고리즘적 기반을 제공한다.

결과적으로 논문은 “모든 엔트로피를 동시에 만족시키는” 최적화 프레임워크를 제시함으로써, 엔트로피 선택의 주관성을 최소화하고, 마코프 과정의 본질적인 단조성을 활용한 보다 보편적인 추론 방법을 제안한다. 이는 복잡계, 비평형 통계역학, 정보이론 등에서 다양한 제약조건 하에 확률분포를 추정해야 하는 상황에 직접적인 응용 가능성을 가진다.