지프 법칙에서 신경망 스케일링까지 히프버그 가설과 힙스 법칙을 연결한 연구

초록

**
본 논문은 자연어 텍스트의 Zipf 법칙이 Heaps 법칙, Hilberg 가설, 그리고 최신 대형 언어 모델의 신경망 스케일링 법칙을 순차적으로 유도한다는 수학적 연결 고리를 제시한다. 핵심은 Zipf 분포를 만족하는 서술 과정과 독립적인 지식 비트를 결합한 “Santa Fe 과정”을 통해 각 법칙을 엄격히 증명하고, 이를 기반으로 교차 엔트로피 감소와 파라미터·데이터·컴퓨팅 규모 간의 거듭되는 거듭 제곱 관계를 도출한다.

**

상세 분석

**
논문은 네 개의 통계적 법칙을 논리적 사다리 형태로 연결한다. 첫 단계에서는 Zipf 법칙을 확률 변수 (K_t)의 꼬리 분포 (P(K_t=k)\propto k^{-\alpha}) ((\alpha>1)) 로 가정한다. 이때 기대 어휘 수 (V(t)=\mathbb{E}| {K_1,\dots,K_t} |) 가 (t^{\beta}) ((\beta=1/\alpha)) 로 성장한다는 Heaps 법칙을 정밀하게 증명한다. 증명은 강한 혼합성(strong mixing) 조건과 충분히 무거운 꼬리(heavy‑tailed) 가정 하에, 각 토큰이 새로운 타입을 도입할 확률을 (k^{-\alpha}) 로 근사함으로써 기대 어휘 성장률을 적분적으로 계산한다.

두 번째 단계에서는 Heaps 법칙으로부터 Hilberg 가설을 도출한다. Hilberg 가설은 블록 엔트로피 (H(X_1^t)) 가 선형 성장률 (h t) 에서 서브선형 보정 (t^{\beta}) 를 더한 형태, 즉 (H(X_1^t)=h t + c t^{\beta}) 로 표현된다. 여기서 (h)는 엔트로피율, (c)는 상수이다. 논문은 Santa Fe 과정을 이용해 서술 (K_t)와 지식 비트 (Z_{K_t}) 를 독립적으로 구성함으로써, 서술이 Zipf 분포를 따를 때 어휘 성장률 (\beta) 와 동일한 지수로 블록 엔트로피의 서브선형 항이 나타남을 보인다. 특히, (Z_k) 를 공정한 동전 뒤집기로 모델링하면 엔트로피 보정 항이 정확히 (t^{1/\alpha}) 로 계산된다.

세 번째 단계는 Hilberg 가설을 신경망 스케일링 법칙에 연결한다. 여기서는 모델 파라미터 수 (n), 훈련 토큰 수 (t), 사용된 컴퓨팅 양 (c) 를 각각 정보 제약 조건 (H(Q_{t,n,c}\mid X_1^t)<c) 와 (H(Q_{t,n,c})<n) 로 표현한다. 이러한 제약 하에, 교차 엔트로피 손실 (h(s,t,n,c)) 가 최악의 경우 (h^*+ \max{t^{\beta-1}, n^{\beta-1}, c^{\beta-1}}) 형태의 상한을 갖는 것을 보인다. 즉, 데이터 양이 증가하면 손실은 (t^{-\gamma_T}) ((\gamma_T=1-\beta)) 로, 파라미터가 늘면 (n^{-\gamma_N}) ((\gamma_N=1/\beta-1)) 로, 컴퓨팅이 늘면 (c^{-\gamma_C}) 로 감소한다.

핵심 통찰은 다음과 같다. (1) Zipf‑Heaps‑Hilberg 삼중 관계는 특정 확률적 구조(특히 Santa Fe 과정)에서 정확히 성립한다는 점; (2) 실제 자연어 코퍼스가 이러한 이상적인 가정을 얼마나 만족하는지는 경험적 검증이 필요하지만, PPM 압축 기반 엔트로피 추정이 (\beta\approx0.8) 를 일관되게 보여주어 실용적 근거를 제공한다; (3) 기존 신경망 스케일링 연구가 파라미터 과잉(over‑parameterization) 현상을 관측한 것은, 파라미터당 실제 사용되는 정보량이 매우 작아 (\gamma_T>\gamma_N) 로 나타나는 현상일 가능성을 시사한다.

마지막으로 논문은 현재 증명된 경계가 실제 대규모 모델에 대해 얼마나 타이트한지, 그리고 비정상적(비정상성, 다중 스케일) 텍스트에서 법칙이 어떻게 변형되는지에 대한 열린 문제들을 제시한다. 이러한 문제들은 더 정교한 혼합성 이론, 비정상 과정 분석, 그리고 실험적 대규모 언어 모델 평가를 통해 해결될 수 있다.

**