확률 엔트로피 통계물리 강의

이 강의는 ‘귀납적 추론’이라는 근본적인 문제를 다루며, 불완전한 정보 속에서 어떻게 합리적인 결정을 내릴 수 있는지를 탐구한다. 서두에서 저자는 과학이 정보의 활용을 통해 예측·설명·제어를 목표로 한다고 밝히고, 이러한 목표를 달성하기 위해서는 확률과 엔트로피라는 두 가지 핵심 도구가 필요함을 제시한다. 1부에서는 확률론의 기초를 베이즈적 관점에서 재구성한다. Cox 공리를 통해 확률을 ‘신념의 정도’라는 주관적 양으로 정의하고, 곱법칙·합법칙을 수학적으로 유도한다. 재정규화 과정을 거쳐 확률값을 0과 1 사이에 배치하고, 기대값·분산·대수법칙·중심극한정리 등 전통적인 확률 이론을 베이즈적 해석과 함께 제시한다. 특히 베이즈 정리를 ‘최소 업데이트’ 원칙으로 설명함으로써, 새로운 데이터가 들어올 때 사전 확률을 가능한 한 적게 바꾸는 것이 합리적임을 강조한다. 2부에서는 엔트로피의 개념을 정보 이론적 관점에서 전개한다. Shannon 엔트로피를 ‘불확실성의 양’으로 정의하고, 가법성·조건부 엔트로피·상호 정보량 등 핵심 성질을 증명한다. 연속 확률분포에 대한 엔트로피 정의와 상대 엔트로피(KL 발산)를 도입해 두 분포 사이의 차이를 측정한다. 이후 최대 엔트로피 원리(MaxEnt)를 제시하는데, 이는 주어진 제약(예: 평균 에너지) 하에서 엔트로피를 최대화함으로써 가장 공정한 사후 분포를 얻는 방법이다. MaxEnt는 베이즈 업데이트의 특수 경우로, 사전 정보와 새로운 제약을 동시에 반영한다는 점에서 강력한 추론 도구가 된다. 3부에서는 전통적인 통계역학을 MaxEnt와 연결한다. Liouville 정리와 동등 사전 확률 가정으로부터 미시상태의 균등 분포를 도출하고, 에너지·입자수 등 물리적 제약을 적용해 정준분포, 마이크로캐노니컬·캐노니컬·그랜드캐노니컬 앙상블을 순차적으로 얻는다. 이 과정에서 ‘관련 제약’이라는 개념을 강조해, 실제 측정 가능한 양만을 제약으로 사용함으로써 물리학 법칙이 정보의 최적화 결과임을 보여준다. 또한 제2법칙(엔트로피 증가)과 열역학적 한계에 대한 해석을 정보론적 관점에서 재해석한다. 4부에서는 엔트로피를 정보 업데이트의 도구로 다시 정의한다. 세 가지 공리(국소성, 좌표 변환 불변성, 동일 독립 부분계 일관성)를 제시하고, 이를 통해 엔트로피가 베이즈 정리와 동일한 역할을 함을 증명한다. 정보 기하학을 도입해 파라미터 공간에 Fisher 정보 행렬을 계량으로 부여하고, 엔트로피의 2차 미분이 바로 이 행렬임을 보인다. 이는 추정 이론에서 효율적인 추정량이 어떻게 정의되는지를 설명하고, Cramér‑Rao 경계와 연결된다. 또한 제약이 서로 교환 가능하지 않을 때 발생하는 비가환성 문제와, 이를 해결하기 위한 순차적 업데이트 전략을 논한다. 전체 강의는 확률·엔트로피·통계물리를 하나의 일관된 추론 체계로 통합한다는 점에서 의의가 크다. 확률은 주관적 신념을 수량화한 것이며, 엔트로피는 그 신념을 최소한의 편향으로 업데이트하는 기준이다. 물리학 법칙은 이러한 귀납적 추론의 결과물로 해석될 수 있다. 저자는 베이즈적 확률론과 최대 엔트로피 원리를 통해 물리학의 근본적인 법칙들을 ‘정보의 최적화’라는 관점에서 재해석하고, 이를 통해 과학적 추론의 객관성과 일관성을 확보할 수 있음을 설득력 있게 제시한다.