자연 속 분포와 엔트로피 원리

초록

이 논문은 입자와 상자 사이의 비율에 따라 최대 엔트로피 원리를 적용하면 두 가지 전형적인 분포, 즉 낮은 비율에서는 정규(벨)형 분포가, 높은 비율에서는 장기 꼬리(롱테일) 분포가 나타난다고 주장한다. 장기 꼬리 분포는 Zipf 법칙, 파레토 20:80 법칙, Benford 법칙을 이론적으로 설명한다는 점에서 의미가 크다.

상세 분석

본 연구는 통계역학의 기본 가정인 ‘가능한 미시 상태는 모두 동등하게 발생한다’는 전제 하에, N개의 입자를 M개의 상자에 배치하는 조합론적 모델을 설정한다. 입자와 상자의 비율 r = N/M에 따라 두 가지 극한을 고려한다. r이 매우 작을 때, 즉 상자에 입자가 거의 하나도 없거나 한 개만 존재하는 경우, 각 상자에 입자가 들어갈 확률은 독립적이며 이항분포가 근사적으로 정규분포(벨형)로 수렴한다. 이는 중앙극한정리와 일맥상통하며, 실험 데이터에서 흔히 관찰되는 ‘평균에 집중된’ 형태를 설명한다.

반대로 r이 크게 증가하면, 다수의 입자가 동일한 상자에 겹쳐 놓이게 된다. 이때는 입자들의 배치가 강한 상호 의존성을 갖게 되며, 엔트로피를 최대화하는 조건을 라그랑주 승수법으로 풀면 확률 질량 함수가 p(k) ∝ 1/k 형태, 즉 파레토 지수법칙을 따르는 장기 꼬리 분포가 도출된다. 여기서 k는 특정 상자에 들어간 입자 수이며, p(k) ∝ k^(-α) (α≈1) 로 나타난다. 저자들은 이 결과를 Zipf 법칙(단어 빈도수 ∝ 순위^(-1)), 파레토 20:80(소수의 원인이 대부분의 결과를 만든다), Benford 법칙(첫 자리수 분포)과 직접 연결한다.

수학적 유도 과정에서 핵심은 엔트로피 S = -∑ p_i ln p_i 를 최대화하면서 평균 입자 수 ⟨k⟩ = N/M 를 고정하는 제약조건이다. 라그랑주 승수 λ를 도입하면 p_i = e^{-λ k_i}/Z 형태가 나오고, λ의 값에 따라 위 두 가지 분포가 전이한다. λ→0(고밀도)일 때는 지수적 감소가 완화되어 1/k 꼬리를, λ→∞(저밀도)일 때는 급격히 감소해 정규형을 만든다.

이론적 모델은 몇 가지 가정을 전제로 한다. 첫째, 입자들은 구분되지 않으며 상자 역시 구분 가능하다고 가정한다. 둘째, 입자 간 상호작용은 무시하고, 배치 과정은 완전 무작위라고 본다. 셋째, 시스템이 충분히 큰 ‘극한’에 도달했을 때만 엔트로피 최대화 원리가 적용된다. 이러한 가정이 현실 데이터에 얼마나 부합하는지는 논문에서 실증적 검증이 부족하다는 비판이 가능하다. 또한, λ의 물리적 의미와 실험적 측정 방법이 명확히 제시되지 않아, 모델을 실제 현상에 적용할 때 해석상의 모호성이 존재한다.

그럼에도 불구하고, 엔트로피 최대화라는 보편적 원리만으로 다양한 실세계 현상의 통계적 법칙을 통합적으로 설명하려는 시도는 학제간 연구에 큰 시사점을 제공한다. 특히, 복잡계에서 관측되는 장기 꼬리 현상을 미시적 조합론과 연결시킨 점은 기존의 ‘임의적 가정’에 의존하던 설명을 보다 근본적인 물리 원리로 대체할 가능성을 열어준다.