제이슨 샤논 발산의 비확장 일반화

이 논문은 정보 이론에서 핵심적인 역할을 하는 Jensen‑Shannon 발산(JSD)을 비확장 통계 물리학의 관점에서 재구성한다. 서론에서는 Shannon 엔트로피의 여러 일반화, 특히 Rényi 엔트로피와 Tsallis 엔트로피를 소개하고, 비확장 엔트로피가 기존의 가법성(additivity) 대신 의사‑가법성(pseudo‑additivity)을 갖는 점을 강조한다. 이러한 배경 하에 기존 JSD 가 볼록성에 기반한 Jensen 차이와 Kullback‑Leibler 발산(KLD)의 평균 형태로 해석될 수 있음을 상기한다. 제2부에서는 비확장 엔트로피의 수학적 기초를 다룬다. Suyari의 공리화에 따라 Tsallis 엔트로피 S_q(p)= (1‑q)^{-1}(1‑∑p_i^q) 가 정의되고, q‑로그와 q‑지수 함수의 기본 성질이 제시된다. 이어서 Tsallis 상대 엔트로피 D_q(p‖r)=−∑p_i ln_q(r_i/p_i) 와 Tsallis 상호정보량 I_q(X;Y)=S_q(X)−S_q(X|Y) 가 도입된다. 특히, 대안적 정의 ˜I_q(X;Y)=D_q(p_{XY}‖p_X⊗p_Y) 가 기존 상호정보량과 다르지만 q=1일 때 일치한다는 점을 강조한다. 제3부에서는 Jensen 차이와 다양한 Jensen‑형 발산을 정리한다. 일반적인 Jensen 차이는 볼록 함수 f에 대해 f(E