가능성 논리와 최대 엔트로피 원리의 관계 주사위 실험을 통한 수치적 탐구

초록

이 논문은 주사위 던지기라는 단순한 실험을 15가지 경우에 대해 최대 엔트로피 원리와 가능성 논리(플라시빌리티 로직)를 적용해 얻은 확률 분포를 비교한다. 두 방법이 언제 일치하고, 언제 최대 엔트로피가 비합리적인 결과를 내는지를 수치적으로 조사함으로써 ‘기대값 = 평균값’ 규칙의 적용 범위를 명확히 한다.

상세 분석

본 연구는 확률론과 베이즈적 추론 사이의 교차점을 탐구한다. 최대 엔트로피 원리는 주어진 제약(예: 평균, 분산 등) 하에서 정보량을 최소화하는 분포를 선택한다는 원칙으로, 정보 이론에서 널리 사용된다. 반면 가능성 논리는 논리적 일관성과 선험적 가정에 기반해 사전 확률을 설정하고, 베이즈 정리를 통해 사후 확률을 계산한다. 저자들은 두 접근법을 동일한 제약조건 하에 적용했을 때 결과가 어떻게 달라지는지를 정량적으로 보여준다.

우선 15개의 문제는 주사위 눈의 합, 특정 눈이 나타날 확률, 부분 집합에 대한 조건부 확률 등 다양한 형태로 구성되었다. 각 문제마다 최대 엔트로피 해는 라그랑주 승수를 이용해 해석적으로 혹은 수치적으로 구했으며, 가능성 논리 해는 사전 가능성(보통 균등 분포)과 논리적 제약을 결합해 베이즈 업데이트를 수행했다.

주요 발견은 다음과 같다. 첫째, 제약이 충분히 강하고 선형적일 때 두 방법이 거의 동일한 분포를 산출한다. 예를 들어, ‘주사위 눈의 평균이 3.5이다’라는 전형적인 제약에서는 최대 엔트로피와 가능성 논리가 모두 균등 분포를 반환한다. 둘째, 제약이 비선형이거나 불완전할 경우 최대 엔트로피는 종종 직관에 반하는 결과를 만든다. 특히 ‘눈 1이 두 번 이상 나오지 않는다’와 같은 부정적 제약에서는 최대 엔트로피가 눈 6에 과도한 확률을 할당하는 경향이 발견되었다. 이는 엔트로피 최적화가 가능한 모든 자유도를 균등하게 분배하려는 성향 때문이며, 실제 상황에서는 비현실적일 수 있다.

반면 가능성 논리는 사전 가정과 논리적 일관성을 유지하면서 제약을 적용한다. 따라서 비선형 제약에서도 보다 합리적인 사후 분포를 제공한다. 특히 ‘특정 눈이 절대 나오지 않는다’는 강한 제약을 넣었을 때, 가능성 논리는 해당 눈의 확률을 정확히 0으로 만들면서 나머지 눈에 대한 확률을 재분배한다. 이는 베이즈적 업데이트가 논리적 불가능성을 자동으로 배제하기 때문이다.

또한 저자는 ‘기대값 = 평균값’ 규칙의 적용 한계를 논의한다. 최대 엔트로피는 기대값을 제약으로 사용할 때는 유효하지만, 기대값 자체가 불확실하거나 다중 모드 분포를 필요로 할 경우 평균값만으로는 충분히 정보를 전달하지 못한다. 가능성 논리는 사전 분포의 형태와 제약을 동시에 고려하므로, 평균값 외에도 고차 모멘트나 구조적 제약을 자연스럽게 포함할 수 있다.

결론적으로, 두 방법은 서로 보완적인 관계에 있다. 최대 엔트로피는 계산적으로 간단하고, 제약이 명확히 정의된 경우 강력한 도구가 된다. 그러나 제약이 복잡하거나 비선형일 때는 가능성 논리가 더 신뢰할 수 있는 결과를 제공한다. 연구자는 이러한 차이를 실험적 수치와 그래프를 통해 시각화하고, 실제 데이터 분석에서 어느 방법을 선택해야 할지 가이드라인을 제시한다.