정보 엔트로피와 통계역학 엔트로피는 동일한가

초록

이 논문은 샤논의 정보 엔트로피 공식이 특정 확률 분포에만 정확히 적용된다는 점을 지적한다. 일반적인 통계역학 상황에서는 상태의 미시적 가중치와 측정 가능한 자유도에 대한 추가 항이 필요하며, 이를 포함한 일반화된 엔트로피 식을 유도한다.

상세 요약

논문은 먼저 샤논이 제시한 정보 엔트ropy (S_{\text{info}}=-k\sum_i p_i\ln p_i) 가 확률 (p_i)가 모든 가능한 미시 상태에 균등하게 할당된 경우에만 완전한 정보를 제공한다는 점을 강조한다. 그러나 통계역학에서는 각 미시 상태가 동일한 가중치를 갖지 않을 수 있으며, 특히 양자계나 제약 조건이 있는 고전계에서는 상태 공간의 부피와 측정 가능한 변수의 스케일이 엔트로피에 직접적인 영향을 미친다. 저자는 이러한 점을 반영하기 위해 두 가지 추가 요소를 도입한다. 첫 번째는 상태의 “밀도” (g_i) 로, 이는 동일한 에너지 레벨에 존재하는 미시 상태의 수를 나타낸다. 두 번째는 연속 변수에 대한 “측정 해상도” (\Delta) 로, 이는 무한히 많은 연속 상태를 무한히 작은 구간으로 나누어야 함을 의미한다. 이를 통해 일반화된 엔트로피 식은

\