엔트로피의 보완적 이중, 엑스트로피

초록

본 논문은 샤논 엔트로피와 쌍을 이루는 새로운 정보 측도 ‘엑스트로피’를 정의하고, 두 함수가 서로 보완적 듀얼 관계에 있음을 수학적으로 증명한다. 이진 분포에서는 엔트로피와 엑스트로피가 동일하지만, 다항 경우에는 서로 다른 값을 갖는다. 엑스트로피는 샤논의 두 기본 공리(연속성, 균등분포에서의 최대값)를 만족하면서도 제3공리(분할 정리)를 대체하는 새로운 공리를 제시한다. 또한 연속 확률밀도에 대해 상대 엑스트로피를 정의하고, 이는 Kullback‑Leibler 발산의 듀얼인 Bregman 발산(특히 절반 L₂ 거리)과 연결된다. 마지막으로 순차적 예측 점수에 엑스트로피를 적용한 통계적 응용을 제시한다.

상세 분석

논문은 먼저 확률변수 X의 이산 분포 p₁,…,p_N에 대해 기존 샤논 엔트로피 H(p)=−∑p_i log p_i 를 재정의하고, 그 보완적 함수 J(p)=−∑(1−p_i) log(1−p_i) 를 ‘엑스트로피’라 명명한다. 결과 1에 따르면 N=2(즉, 단일 사건)에서는 H=J가 성립하지만, N≥3이면 항상 H>J이며, 이는 확률벡터에 최소 세 개 이상의 양의 성분이 존재할 때만 발생한다. 이는 엔트로피와 엑스트로피가 동일한 ‘이진’ 경우와 다항 경우를 명확히 구분한다는 점에서 의미가 크다.

다음으로 저자들은 샤논이 제시한 세 가지 공리 중 (i) 연속성, (ii) 균등분포에서의 단조 증가를 엑스트로피가 그대로 만족함을 증명한다(결과 2). 그러나 샤논의 핵심 공리인 (iii) ‘분할 정리’는 엑스트로피에 대해 성립하지 않는다. 대신 저자들은 ‘대체 공리’를 제시하여, 엔트로피와 엑스트로피가 각각 미세 파티션과 거친 파티션에서 서로 보완적인 합을 이루는 관계를 보인다. 구체적으로, J(p) = (N−1)