조건부 엔트로피의 완전한 특성화

초록

**
본 논문은 “조건부 혼합 채널”이라는 연산에 대해 불변하고, 독립 변수에 대해 가법적이며, 레이블 교체에 무관한 네 가지 직관적인 공리(불변성, 조건부 혼합에 대한 단조성, 가법성, 정규화)를 만족하는 모든 조건부 엔트로피를 완전하게 규정한다. 저자들은 이러한 공리를 만족하는 조건부 엔트로피가 Rényi 엔트로피의 지수 평균 형태
(H_{t,\tau}(X|Y)=\frac{1}{t}\log!\sum_{y}P(y)\exp!\Big(t\int_{0}^{\infty} H_{\alpha}(X|Y=y),d\tau(\alpha)\Big))
으로 표현될 수 있음을 증명하고, 파라미터 (t)와 측도 (\tau)에 대한 충분·필요 조건을 제시한다. 또한 이 엔트로피가 조건부 주요화(conditional majorization) 변환율을 결정하고, 사이드 정보가 있는 열역학 제2법칙을 기술하는 데 활용될 수 있음을 보인다.

**

상세 분석

**
이 연구는 기존의 조건부 엔트로피 정의들이 서로 다른 파라미터화와 제한된 적용 범위에 머물렀던 점을 지적하고, “조건부 혼합 채널”(conditional mixing channel)이라는 보다 일반적인 변환 클래스를 도입함으로써 근본적인 운영적 요구를 포착한다. 논문은 네 가지 공리를 체계적으로 정의한다. 첫째, 레이블 교체와 임베딩에 대한 불변성은 엔트로피가 순수히 확률 분포에만 의존함을 보장한다. 둘째, 조건부 혼합에 대한 단조성은 X에 대한 이중 확률 행렬과 Y에 대한 행‑확률 행렬, 그리고 Y‑조건부로 선택되는 이중 확률 행렬들의 조합으로 이루어진 변환이 엔트로피를 감소시키지 않음을 의미한다. 셋째, 독립 변수에 대한 가법성은 크로네커 곱을 통해 결합된 시스템의 엔트로피가 개별 엔트로피의 합으로 분해됨을 요구한다. 넷째, 정규화는 1비트 코인 토스에 대해 엔트로피가 1이 되도록 기준을 잡는다.

이 네 공리를 만족하는 함수들의 구조를 파악하기 위해 저자들은 사전 순서가 정의된 반환 반대수(semiring) (S)를 구성하고, 그 위의 호모모르피즘을 분석한다. 특히, Rényi 엔트로피가 지수 평균 형태로 나타나는 이유는 (E_{t}