조건부 엔트로피 재해석과 증가 가능성

본 논문은 “조건부 엔트로피”라는 개념에 대한 기존 정의와 계산식의 근본적인 문제점을 다각도로 검토하고, 조건부 엔트로피가 절대적으로 감소하지 않을 수 있음을 증명한다. 서론에서는 샤논 정보 이론이 통신 기술 발전에 큰 영향을 미쳤지만, 일상 생활이나 실제 시스템에 적용하기엔 한계가 있다는 점을 지적한다. 특히 샤논이 제시한 엔트로피와 조건부 엔트로피의 관계식 H(Y|X)≤H(Y) 가 “정보는 불확실성을 감소시킨다”는 직관과 일치하지만, 이는 수학적 가정에 지나지 않을 수 있다는 의문을 제기한다. 문헌 검토에서는 샤논(1948)의 원 논문과 그 이후 중국·한국 학자들의 비판적 논의를 인용한다. 특히 L. U 청과 Z. 홍잉 등이 제시한 ‘정보의 신뢰성’ 개념을 소개하며, 기존 확률론적 정의가 정보의 질적 측면을 무시한다는 점을 강조한다. 본 논문의 핵심은 두 가지. 첫째, 기존 조건부 엔트로피 계산식 (1) 은 실제 “X가 관측된 후 Y의 엔트로피”를 정확히 반영하지 못한다는 점이다. 저자는 식 (1)이 p(x) 로 가중된 H(Y|X=x)들의 평균에 불과함을 수식적으로 증명하고, 이를 통해 H(Y|X)≤H(Y) 가 항상 성립하지 않을 수 있음을 논리적으로 도출한다. 둘째, 구체적인 반증 사례를 제시한다. - 예시 1(학교 규율): 사전 확률에서는 학생이 지각할 확률이 매우 낮다(p=0.01). 그러나 ‘로즈가 규율을 잘 지키지 않는다’는 사후 정보가 주어지면, 로즈가 지각할 확률이 0.99 로 급격히 상승한다. 이때 H(Y|X=로즈)≈0.08 비트가 사전 엔트로피 0.08 비트보다 크게 증가한다. - 예시 2(일회성 암호): 평문 0과 1의 사전 확률이 각각 0.9와 0.1이었으나, 암호문이 0으로 관측된 후 평문이 0일 확률이 0.5 로 변한다. 결과적으로 H(Y|X)는 0.47 비트에서 1 비트로 증가한다. 이 두 사례는 “X가 Y에 대한 정보를 제공하지만, 그 정보가 Y의 분포를 더 균등하게 만들어 엔트로피를 증가시킨다”는 현상을 명확히 보여준다. 저자는 이를 “정보가 불확실성을 재배치한다”는 새로운 관점으로 해석한다. 조건부 엔트로피 증가의 원인을 보다 일반화하기 위해, 논문은 ‘신뢰성 기반 정보량’이라는 새로운 정의를 제안한다. 기존 상호정보량 I(X;Y)=H(Y)−H(Y|X) 와 달리, 신뢰성 가중 상호정보량 I_rel(X;Y)=∑_x p(x)·w(x)·