베타형 함수가 밝힌 순위 분포 꼬리의 보편성

초록

많은 연구자들이 경제, 지구물리학, 유전학, 연성 물질, 네트워크 등 다양한 분야에서 순위 분포를 설명하기 위해 Zipf 형태의 멱법칙을 사용해 왔지만, 이러한 적합은 일반적으로 꼬리 부분에서 실패한다. 꼬리 양쪽을 동시에 설명할 수 있는 몇몇 분포가 제안되었지만, 실제 데이터에 모두 잘 맞지는 않는다. 우리는 입자 집합, 코돈, 과학 저널의 저자 영향력 등 다양한 사례에서 베타‑유사 함수를 이용한 피팅이 매우 우수함을 확인하였다. 이러한 보편성은 다수의 하위 시스템이나 선택으로 이루어진 복합 시스템이 스트레치드 지수 형태의 빈도‑순위 함수를 생성하고, 다수의 무작위 변수 한계에서 이 함수를 베타‑유사 함수로 정량·정성적으로 근사할 수 있기 때문이라고 제안한다. 우리는 문제를 대수적 형태, 즉 주어진 수 집합의 연속적인 곱의 순위를 찾는 문제로 변환함으로써 이를 증명한다.

상세 요약

이 논문은 “순위‑분포”라는 오래된 통계적 현상을 새로운 수학적 시각으로 재해석한다는 점에서 학문적 가치를 지닌다. 기존에 Zipf 법칙이나 그 변형이 데이터의 중앙부는 잘 설명하지만, 극단적인 고빈도와 저빈도 영역(즉, 꼬리)에서는 오차가 크게 발생한다는 한계가 널리 알려져 있다. 저자들은 이러한 문제를 해결하기 위해 “베타‑유사 함수(beta‑like function)”라는 새로운 형태의 확률분포를 제안한다. 이 함수는 두 개의 파라미터를 통해 꼬리의 비대칭성을 동시에 조절할 수 있어, 앞쪽 꼬리(높은 순위)와 뒤쪽 꼬리(낮은 순위) 모두를 정밀하게 맞출 수 있다.

핵심 아이디어는 복합 시스템을 “다수의 독립적인 선택” 혹은 “다수의 하위 시스템”으로 모델링하고, 각 선택이 일정 확률로 발생하는 사건들의 곱(product) 형태로 나타난다는 점이다. 예를 들어, 코돈의 경우 64개의 가능한 트리플렛이 무작위 조합으로 나타나며, 각 조합의 빈도는 해당 트리플렛이 선택될 확률들의 곱으로 표현될 수 있다. 이러한 곱의 순위를 구하는 문제는 본질적으로 “주어진 실수 집합 {a₁, a₂,…,aₙ}의 모든 가능한 곱을 크기순으로 정렬하고, k번째 곱을 찾는 것”과 동등하다. 저자들은 이 대수적 문제를 분석함으로써, 곱의 분포가 큰 n(즉, 선택의 수가 많을수록)에서 스트레치드 지수 형태, 즉 (P(r) \sim \exp(-c r^{\gamma})) 로 수렴함을 보인다. 여기서 r은 순위, γ는 시스템의 복잡도에 따라 달라지는 지수이다.

그 다음 단계에서, 스트레치드 지수 함수를 베타‑유사 함수와 매칭시키는 근사 과정을 제시한다. 베타‑유사 함수는 일반적인 베타 분포의 형태를 차용하면서, 꼬리 부분에서 파라미터가 조절되는 방식으로 정의된다. 수학적으로는

\