샤논 제인스 엔트로피와 피셔 정보의 새로운 해석

초록

본 논문은 최대 엔트로피 원리를 확률 할당과 업데이트의 규칙으로 재검토한다. 상대 엔트로피인 샤논‑제인스 엔트로피가 업데이트 규칙에 최적임을 증명하고, 거친화(coarse‑graining)에 가장 둔감한 확률 분포를 선택하는 구성 규칙을 제시한다. 이를 통해 물리 법칙을 불완전한 정보에 대한 추론 규칙으로 해석하는 가능성을 논의한다.

상세 분석

논문은 먼저 확률 할당 문제를 두 단계, 즉 사전 할당(prior assignment)과 사후 업데이트(posterior update)로 구분한다. 사전 단계에서는 정보가 제한된 상황에서 ‘가능한 한 최소한의 가정’에 기반한 분포를 찾아야 하는데, 이를 위해 저자들은 ‘코스팅(coarse‑graining) 민감도’를 최소화하는 원리를 도입한다. 구체적으로, 미세한 변수들을 일정 규모로 평균화했을 때 엔트로피 변화가 최소가 되도록 하는 확률밀도함수 ρ(x)를 찾는다. 이 과정에서 피셔 정보(Fisher information) I