열역학으로 푸는 가우시안 채널 상호정보

본 논문은 가우시안 잡음 채널을 열역학적 시스템으로 모델링함으로써, 정보 이론의 핵심 개념인 상호정보를 열역학적 양으로 재해석한다. 서두에서는 열역학의 역사적 배경을 간략히 소개하고, 고전 제2법칙이 온도에 독립적인 해밀토니안을 전제로 한다는 점을 강조한다. 이후 통신 채널을 열역학적 시스템에 대응시키는 과정에서, 채널 입력 X를 미시 상태, 출력 Y를 외부 매개 변수로 보는 매핑을 제시한다. 특히 가우시안 채널 Y = X + N(0,1/SNR) 에서 SNR을 역온도 β와 동일시하고, 베르누이‑½ 입력과 같은 경우에는 사전 확률 로그 항이 상수이므로 에너지 함수가 온도에 독립적이지만, 일반적인 연속 입력에서는 로그 사전확률이 β에 비례해 온도 의존성을 만든다. 이러한 온도 의존성을 정량적으로 다루기 위해, 저자는 제2법칙을 “dS = dQ/T – ⟨∂E/∂T⟩ dT” 형태로 일반화한다. 증명은 볼츠만 분포 Z = Σ_x exp(−βE(x)) 의 로그를 β에 대해 미분하고, ⟨∂E/∂T⟩ 항이 나타나는 과정을 통해 이루어진다. 물리적으로는 열이 시스템에 흡수될 때 두 가지 효과가 발생한다는 해석을 제공한다. 첫 번째는 온도 상승에 따른 열 흐름 dU – ⟨∂E/∂T⟩ dT, 두 번째는 에너지 레벨 자체가 이동하는 ⟨∂E/∂T⟩ dT 로, 후자는 엔트로피 변화에 직접 기여하지 않으며, 실제 엔트로피 변화는 온도 변화에 의한 열 흐름만이 담당한다는 것이다. 이제 상호정보 I(X;Y) 를 열역학적 관점에서 표현한다. 조건부 엔트로피 H(X|Y;β) 를 열역학적 엔트로피 S(X|Y;β) 로 치환하고, 입력 엔트로피 H(X) 를 β=0 상황의 조건부 엔트로피와 동일시한다. 이를 통해 I(β)=H(X)−H(X|Y;β)=−∫₀^β E_Y