정보 대칭과 측정 척도를 통한 일반 확률분포의 간단한 유도와 분류

초록

본 논문은 확률분포가 최대 엔트로피 원리에 따라 제약조건을 만족하면서 형성된다는 가정과, 서로 다른 문제에서 정보와 측정 척도의 관계가 달라진다는 두 가지 명제를 기반으로, 기존 피어슨 체계의 현상학적 접근을 대체할 통합 이론을 제시한다. 측정 척도의 변형이 최대 엔트로피 분포를 어떻게 다른 분포군으로 전이시키는지를 수학적으로 전개하고, 연속 확률분포들을 하나의 프레임워크 안에서 재분류한다.

상세 분석

이 연구는 확률분포의 기원에 대한 근본적인 질문을 두 가지 원리로 단순화한다. 첫 번째는 “최대 엔트로피 = 최소 정보”라는 정보이론적 원리로, 이는 제약조건(예: 평균, 분산, 로그 평균 등)이 주어졌을 때 엔트로피를 최적화함으로써 해당 제약을 만족하는 확률밀도함수를 도출한다는 의미다. 두 번째는 “정보 불변성(information invariance)과 측정 척도(measurement scale)의 관계”라는 개념으로, 문제마다 정보가 측정되는 방식이 달라지며 이는 수학적으로는 변수 변환을 통해 표현된다. 저자는 측정 척도의 변환을 ‘스케일 변환 함수’ φ(x) 로 정의하고, φ(x)의 형태에 따라 엔트로피 최적화 문제의 라그랑주 승수가 달라져 결과 분포가 정규, 감마, 베타, 로그정규 등 다양한 가족으로 분류된다고 보인다.

특히, 피어슨이 제시한 12가지 연속분포를 생성하는 미분방정식은 특정 φ(x) 가 선형, 로그선형, 혹은 다항식 형태일 때 나타나는 특수해에 불과하다는 점을 강조한다. 저자는 φ(x) 를 일반적인 함수군으로 확장함으로써 기존 피어슨 체계가 포괄하지 못한 분포(예: 파레토, 와이블, 지수 가족 등)를 자연스럽게 포함시킨다. 이 과정에서 ‘측정 척도의 대칭성(symmetry)’이 핵심 역할을 한다. 예를 들어, 척도가 곱셈적으로 불변하면 로그 변환이 자연스럽게 등장해 로그정규나 로그-감마 분포가 도출되고, 척도가 덧셈적으로 불변하면 정규분포가 나타난다.

또한, 논문은 엔트로피 함수 자체가 측정 척도에 따라 재정의될 수 있음을 보여준다. 전통적인 셰넌 엔트로피는 확률 자체에 대한 정보량을 측정하지만, 변환된 변수 y = φ(x) 에 대해 엔트로피를 다시 계산하면 새로운 제약조건이 부과된다. 이때 라그랑주 승수 λ_i 가 물리적 혹은 통계적 의미(예: 온도, 압력, 화학 퍼텐셜)와 연결되며, 이는 분포의 파라미터와 직접적인 대응관계를 만든다.

결과적으로, 저자는 “측정 척도의 선택 = 정보 제약의 선택”이라는 일대일 대응을 제시하고, 이를 통해 확률분포의 가족 간 관계를 ‘측정 척도 변환 그래프’ 형태로 시각화한다. 이 그래프는 한 척도에서 다른 척도로 이동할 때 라그랑주 승수가 어떻게 변하는지를 보여주며, 피어슨 체계의 ‘연속적인 변형’이라는 개념을 보다 명확히 해석한다.

이러한 프레임워크는 통계학, 물리학, 생물학 등 다양한 분야에서 관측 데이터의 분포를 해석할 때, 왜 특정 분포가 자주 나타나는지를 근본적인 정보-측정 관계로 설명한다는 점에서 큰 의미를 가진다.