열역학 기반 소표본 확률 추정 방법

본 논문은 “소표본(small‑sample) 상황에서의 이산 확률 추정”이라는 고전적인 통계 문제에 열역학적 관점을 도입함으로써 새로운 이론적·실용적 프레임워크를 제시한다. 서론에서는 최대우도(MLE) 방법이 표본이 충분히 클 때는 효율적이지만, 데이터가 부족하면 과적합(over‑fitting) 현상이 발생한다는 점을 지적한다. 베이지안 접근법은 사전분포(prior)를 통해 과적합을 억제하지만, 사전 선택이 주관적이며 객관적인 분석을 방해한다는 한계가 있다. 이러한 배경 하에 저자들은 에너지와 엔트로피라는 열역학적 개념을 확률 추정에 매핑한다. 본론에서는 먼저 로그우도 \(\mathcal{L}(p)\)를 음수화하여 에너지 \(E(p)=-\mathcal{L}(p)\)를 정의하고, 섀넌 엔트로피 \(S(p)=-\sum_k p_k\log p_k\)를 도입한다. 온도 \(T\)는 표본 크기 \(N\)에 대한 함수로, 일반적으로 \(T(N)=c/N\) 혹은 \(T(N)=c/(N+\alpha)\) 형태를 사용한다. 여기서 \(c\)와 \(\alpha\)는 이론적 유도와 실험적 튜닝을 통해 결정되는 상수이다. 온도가 클수록 엔트로피 항이 강조되어 균등분포에 가까운 추정값을 제공하고, 온도가 작아질수록 에너지 항이 지배해 MLE와 동일한 결과를 낸다. 자유에너지 \(F(p)=E(p)-T S(p)\)를 최소화하는 것이 핵심 원리이며, 라그랑주 승수를 이용한 최적화 과정에서 다음과 같은 확률 질량 함수가 도출된다. \