즉시 부호와 통계역학: 온도와 엔트로피의 새로운 해석

초록

본 논문은 최적 즉시 부호를 이용한 무잡음 소스 코딩을 통계역학적 관점에서 재해석한다. 엔트로피·온도·열평형 개념을 부호 길이와 확률 분포에 대응시켜, 온도 1이 평균 코드워드 길이와 일치함을 보이고, 박스-카운팅 차원을 통해 이를 검증한다. 또한 온도 개념을 활용해 직관적인 정보이론 관계들을 도출한다.

상세 분석

이 연구는 정보이론의 핵심인 무잡음 소스 코딩을 물리학의 통계역학 틀에 끌어들여 새로운 시각을 제공한다. 먼저, 절대 최적 즉시 부호(즉, 각 심볼에 할당된 코드워드 길이가 −log p(x)와 정확히 일치하는 부호)를 전제한다. 이러한 부호는 각 심볼이 발생할 확률 p(x)와 직접 연결되며, 전체 코드워드 길이의 기대값은 엔트로피 H(X)와 동일해 ‘열역학적 에너지’에 비유될 수 있다. 저자는 코드워드 길이 l(x)를 미시상태의 에너지 E로 정의하고, 확률 분포 p(x)를 미시상태의 통계적 가중치 exp(−βE)와 동일시한다. 여기서 β는 역온도(β=1/T)이며, T는 온도 개념이다.

특히, 온도 T=1일 때 기대 코드워드 길이 ⟨l⟩가 바로 평균 코드 길이 L̄와 일치함을 증명한다. 이는 통계역학에서 온도 1이 ‘볼츠만 상수’를 단위로 잡은 경우와 유사하게, 정보량과 물리적 에너지의 단위가 일치한다는 의미이다. 또한, 엔트로피 S(T)=−∑p_T(x)log p_T(x) 를 정의하고, 이는 전통적인 샤논 엔트로피와 동일함을 보인다. 온도 변화를 통해 코드워드 길이 분포가 어떻게 변하는지 분석함으로써, ‘열평형’ 상태가 바로 최적 부호화 상태임을 확인한다.

저자는 박스-카운팅 차원(dimension) 개념을 도입해, 코드워드 집합을 다차원 공간에 매핑하고, 그 프랙탈 차원이 온도와 직접 연결된다는 사실을 실험적으로 검증한다. 온도 1에서의 차원은 코드의 평균 길이와 일치하며, 이는 정보 압축 효율과 프랙탈 기하학 사이의 깊은 연관성을 시사한다.

마지막으로, 온도와 엔트로피를 이용해 정보이론의 기본 부등식들을 ‘열역학적’ 직관으로 재유도한다. 예를 들어, 두 독립 소스의 결합 부호 길이는 각각의 온도와 엔트로피를 합한 것보다 크지 않으며, 이는 열역학의 자유에너지 최소화 원리와 유사하다. 이러한 접근은 기존 정보이론 결과를 물리적 직관으로 이해하게 함으로써, 새로운 코딩 설계 원칙이나 압축 알고리즘 개발에 영감을 줄 수 있다.