깊이 연결된 자유에너지와 정보용량의 등가성

초록

본 논문은 물리학의 깁스 자유에너지 최소화 원리와 정보이론의 채널 용량 최대화 원리가 동일한 수학적 구조를 가진다는 점을, 이중 활용이 가능한 이징 모델을 통해 증명한다. 특히 이진 대칭 채널(BSC)을 이징 스핀 시스템에 대응시켜 자유에너지와 상호정보량을 동일하게 표현함으로써 두 개념의 등가성을 구체적으로 보여준다.

상세 분석

논문은 먼저 깁스 자유에너지 (F = U - TS) 의 정의와, 열역학적 평형에서 (F) 가 최소가 되는 조건을 소개한다. 여기서 (U) 는 내부에너지, (S) 는 엔트로피이며, 통계역학적 관점에서는 (F = -k_{!B}T\ln Z) 로 표현된다. (Z) 는 시스템의 파티션 함수로, 각 미시상태 (i) 에 대한 볼츠만 가중치 (e^{-\beta E_i}) 의 합이다. 이와 대조적으로 정보이론에서는 채널 입력 (X)와 출력 (Y) 사이의 상호정보량 (I(X;Y)=H(Y)-H(Y|X)) 를 최대화하는 입력 분포 (p(x)) 를 찾는 것이 용량 (C) 정의의 핵심이다.

저자는 이 두 최적화 문제를 동일한 라그랑지안 형태로 변환한다. 이징 모델을 이용해 스핀 (s_i\in{-1,+1}) 와 외부장 (h) 의 상호작용을 (E(s) = -J\sum_{\langle ij\rangle}s_i s_j - h\sum_i s_i) 로 기술하고, 각 스핀 상태를 채널 입력 (X) 에, 인접 스핀의 상태를 출력 (Y) 에 대응시킨다. 이때 이진 대칭 채널의 전이 확률 (P(Y|X)=1-p) (동일)와 (p) (반전)은 이징 모델의 결합 상수 (J)와 온도 (T) 에 의해 결정되는 볼츠만 인자 (e^{\beta J}) 와 일치한다.

파티션 함수 (Z) 를 전개하면 (\ln Z = \sum_i \ln\bigl