Zipf와 Heaps의 숨은 연결고리: 유한계 시스템에서의 새로운 해석

초록

본 논문은 Zipf 법칙을 만족하는 시스템에서 Heaps 법칙이 파생 현상임을 증명하고, Zipf 지수로부터 Heaps 지수를 추정하는 기존 근사식의 한계를 보완한다. 무한대 시스템에서는 기존 근사식이 정확하지만, 유한 크기의 실제 데이터에서는 시스템 규모에 따라 Heaps 지수가 크게 변동한다. 저자들은 정밀한 수치 해법을 제시하고, 다양한 실증 데이터를 통해 제안된 방법이 기존 추정보다 우수함을 확인한다.

상세 분석

Zipf 법칙은 순위(r)와 빈도(f) 사이에 f(r)∝r^‑α 형태의 거듭 제곱 관계를, Heaps 법칙은 전체 토큰 수(N)와 고유 토큰 수(V) 사이에 V(N)∝N^β 형태의 서브선형 성장 관계를 각각 설명한다. 두 법칙이 동시에 나타나는 현상은 언어, 유전자 서열, 인터넷 트래픽 등 다양한 복합 시스템에서 관찰되지만, 그 내재적 연결고리는 아직 명확히 규명되지 않았다. 본 연구는 확률적 모델에 의존하지 않고, Zipf 분포를 전제조건으로 두고 누적 고유 토큰 수 V(N)를 정확히 계산한다. 구체적으로, 순위 r에 대한 빈도 f(r)=C·r^‑α 를 전체 토큰 수 N에 대해 적분하면, 각 순위가 처음 등장하는 시점을 N_r≈C·r^(1‑α)/(1‑α) 로 표현할 수 있다. 여기서 r을 N에 대한 함수로 역변환하면 V(N)≈( (1‑α)·N / C )^{1/(1‑α)} 가 도출된다. 이는 전통적인 근사식 β≈1/α 와 일치하지만, α가 1에 가까울 때는 수렴 속도가 느려 무한대 가정이 부정확해진다. 저자들은 이 문제를 해결하기 위해 수치적 고정점 반복법을 도입해, 주어진 N과 α에 대해 정확한 V(N)를 구하고, 이를 로그‑로그 플롯에서의 기울기 β(N)로 변환한다. 결과적으로 β는 시스템 규모 N에 의존하는 함수가 되며, 작은 N에서는 β가 이론적 한계값보다 크게 나타나고, N이 커질수록 점진적으로 1/α 로 수렴한다. 이러한 규모 의존성은 실제 데이터에서 관측된 “가속 성장” 현상을 자연스럽게 설명한다. 실증 분석에서는 언어 코퍼스(영어, 한국어, 중국어), 단백질 서열, 웹 페이지 URL, 소셜 네트워크 연결 등 10여 종류의 데이터셋을 대상으로 Zipf 지수 α와 Heaps 지수 β를 동시에 추정하고, 제안된 수치 해법이 기존 근사식보다 평균 12% 정도 낮은 오차를 보임을 확인했다. 특히, 네트워크 성장 모델에서 노드 수가 수천에서 수백만 수준으로 확대될 때, 기존 β≈1/α 가 과소평가되는 반면, 제안 방법은 실제 성장 곡선을 정확히 재현한다. 이 연구는 Zipf와 Heaps 사이의 수학적 관계를 명확히 규정함으로써, 복합 시스템의 규모 의존적 동역학을 이해하고, 모델링 및 예측에 실용적인 도구를 제공한다.