의미 청크와 언어 엔트로피: 자연어의 숨은 구조 해석

초록

이 논문은 자연어 텍스트를 의미적으로 일관된 청크로 재귀적으로 분할하는 모델을 제안하고, 그 청크 트리를 무작위 K-ary 트리 집합으로 근사시켜 엔트로피율을 이론적으로 계산한다. 실험적으로 최신 대형 언어 모델(LLM)과 다양한 코퍼스를 이용해 모델이 실제 텍스트의 통계와 엔트로피율을 잘 재현함을 보이며, 엔트로피율이 텍스트의 의미 복잡도에 따라 변한다는 새로운 통찰을 제공한다.

상세 분석

본 연구는 언어의 엔트로피율이 약 1비트/문자라는 전통적 결과를 ‘의미 청크(semantic chunk)’라는 계층적 구조를 통해 첫 원리적으로 설명한다는 점에서 혁신적이다. 저자들은 텍스트를 K-ary 트리 형태로 재귀적으로 분할하는 절차를 정의하고, 각 분할 단계에서 경계점을 균등 무작위로 배치한다는 가정을 기반으로 확률 커널 p_split(m|n)=Z_{K-1}(n-m)/Z_K(n) (Z_K는 조합적 정규화 상수)를 도출한다. 이 과정은 텍스트 길이 N에 대해 깊이 L까지 진행될 때, 각 레벨의 청크 크기 분포 P_L(n|N)이 N에 대해 스케일링 형태 P_L(n)≈(1/N)f_L(n/N) 로 수렴함을 보인다. 여기서 f_L는 베타 분포 Beta(1, K‑1)와의 곱셈적 컨볼루션을 통해 재귀적으로 정의되는 연속 스케일링 함수이다.

이론적 분석은 두 가지 주요 결과를 제공한다. 첫째, 무작위 K‑ary 트리 집합의 엔트로피 H_K는 트리 구조의 로그 확률을 샤논 정보량으로 변환한 값이며, 식 (11) h_K = (1/⟨N⟩)·E