메타북과 글 길이에 따른 언어 통계 변화

초록

이 논문은 단일 저자의 책 길이가 늘어남에 따라 단어 빈도 분포의 파워‑법칙 지수 γ가 2에서 1로 점진적으로 감소한다는 실증적 증거를 제시한다. 저자는 확장된 힙의 법칙과의 연관성을 탐구하고, 무한히 긴 “메타북” 개념을 도입해 실제 텍스트의 빈도 구조를 가상의 무한 코퍼스로부터 추출한 부분집합과 동일하게 설명한다. 결과적으로 Zipf 법칙이 보편적으로 적용되지 않으며, 무한 책 한계에서는 γ=1이 된다.

상세 분석

본 연구는 언어 통계학에서 오랫동안 논란이 되어 온 Zipf 법칙(단어 빈도 ∝ 순위⁻¹)과 Heap 법칙(고유 단어 수 ∝ 텍스트 길이ᵝ)의 관계를 텍스트 길이에 따라 동적으로 변하는 파라미터 γ를 통해 재조명한다. 저자는 다양한 장르와 저자의 단일 저서들을 대상으로 텍스트를 여러 길이(L)로 슬라이딩 윈도우 방식으로 나누어 각 구간의 단어 빈도 분포를 추정하고, 파워‑법칙 형태 f(r)∝r⁻ᵞ를 최소제곱법으로 피팅한다. 결과는 텍스트 길이가 짧을수록 γ≈2에 가깝고, 길이가 증가함에 따라 γ가 점진적으로 1에 접근한다는 일관된 경향을 보인다. 이는 기존 Zipf 법칙이 “무한히 큰 코퍼스”에서만 정확히 성립한다는 가정을 실증적으로 뒷받침한다.

또한 저자는 Heap 법칙의 지수 β와 γ 사이에 β=1/γ라는 관계가 성립함을 수식적으로 도출한다. 즉, 텍스트가 길어질수록 새로운 고유 단어가 등장하는 비율이 감소하고, 이는 γ가 감소함에 따라 고빈도 단어가 상대적으로 더 큰 비중을 차지하게 됨을 의미한다. 이러한 상호작용은 “메타북” 개념으로 통합된다. 메타북은 특정 저자가 평생 동안 생산할 수 있는 가상의 무한 코퍼스를 의미하며, 실제 텍스트는 이 메타북에서 임의의 길이 L만큼 샘플링한 결과와 통계적으로 동일하다고 가정한다. 따라서 한 저자의 짧은 작품이라도 메타북의 부분집합으로 볼 수 있으며, 텍스트 길이가 증가할수록 메타북의 전체 구조에 더 가까워진다.

실험적으로는 저자별로 10여 권 이상의 책을 수집하고, 각 책을 10⁴~10⁶ 토큰 규모로 구간화한 뒤 γ와 β를 추정하였다. 저자마다 절대값 차이는 존재하지만, γ가 2→1로 감소하는 경향과 β가 0.5→1로 상승하는 패턴은 보편적이었다. 특히, 동일 저자의 장르가 다르더라도 메타북 가정 하에 동일한 γ(L) 곡선을 따르는 것이 확인되었다. 이는 언어 사용의 개인적 스타일이 텍스트 길이에 따라 일정한 스케일링 법칙을 따른다는 강력한 증거로 해석될 수 있다.

이 논문의 주요 기여는 (1) 텍스트 길이에 따라 변하는 γ를 정량화함으로써 Zipf 법칙의 제한점을 명시하고, (2) 확장된 Heap 법칙과의 수학적 연결고리를 제시했으며, (3) 메타북이라는 추상적 모델을 통해 개인 저자의 언어 생산 메커니즘을 통합적으로 설명했다는 점이다. 이러한 접근은 자연어 처리, 코퍼스 구축, 그리고 언어 진화 모델링에 새로운 이론적 기반을 제공한다.