자연어와 인공어의 통계적 차이: 영어와 에스페란토 텍스트의 Zipf·Grassberger‑Procaccia 분석

초록

본 논문은 루이스 캐럴의 두 작품(Alice in Wonderland, Through the Looking‑Glass)을 영어 원문과 에스페란토 번역본으로 삼아, 단어 빈도(Frequency Time Series, FTS)와 단어 길이(Length Time Series, LTS)를 각각 Zipf 법칙과 Grassberger‑Procaccia(GP) 방법으로 분석한다. Zipf 지수는 문장 정의에 따라 0.3~0.5 수준으로 변동했으며, 이는 저자 스타일을 나타내는 지표로 해석된다. GP 분석에서는 위상공간 차원 n에 대해 끌어당김 차원 r이 r = n^0.79 로 근사됨을 발견했으며, 이를 저자의 창의성 척도로 제시한다. 영어와 에스페란토 사이에 양적 차이는 존재하지만, 전반적인 통계적 특성은 크게 다르지 않아 번역이 내용 보존에 성공했음을 시사한다.

상세 분석

이 연구는 두 가지 물리‑통계학적 도구를 텍스트 분석에 적용함으로써 언어학적 특성을 정량화하려는 시도다. 첫 번째 도구인 Zipf 법칙은 단어 빈도와 순위 사이의 거듭 제곱 관계를 검증한다. 저자는 문장을 ‘점(.)’, ‘쉼표(, )’, ‘세미콜론(;)’, ‘물음표(?)’, ‘느낌표(!)’ 등 다양한 구분자로 나누어 각각의 FTS에 대해 로그‑로그 플롯을 그렸다. 결과적으로 전통적인 ζ≈1이 아닌 ζ≈0.3~0.5 값을 보였으며, 이는 문장 구분 방식에 따라 크게 변한다. 이러한 비보편성은 저자 고유의 스타일, 즉 특정 구두점 사용 빈도와 문장 구조가 Zipf 지수에 영향을 미친다는 가설을 뒷받침한다. 그러나 표본이 두 텍스트에 국한돼 있어 일반화에 한계가 있다. 또한, Zipf‑Mandelbrot 형태의 2‑파라미터 모델을 언급했지만 실제 피팅 결과와 통계적 유의성을 충분히 제시하지 않아, 모델 선택의 근거가 약하다.

두 번째 도구인 Grassberger‑Procaccia 알고리즘은 LTS를 이용해 위상공간 재구성 후 상관 차원 C_n(l)과 거리 l 사이의 스케일링을 분석한다. 저자는 임베딩 차원 n을 215까지 변화시키며 C_n(l)∝l^{r} 관계를 확인했고, r이 n에 대해 r = n^{0.79} 로 근사된다는 경험적 식을 도출했다. 이 식은 ‘끌어당김 차원’이 차원 증가에 따라 서브선형적으로 성장한다는 점에서 복잡계 시스템의 저차원 흡인 구조와 유사성을 시사한다. 그러나 GP 분석은 데이터 길이와 노이즈에 민감한데, 본 논문에서는 텍스트 길이(≈2.53만 단어)만을 사용했으며, 재현성 검증을 위한 서브샘플링이나 노이즈 억제 기법이 부족하다. 또한, r과 n 사이의 관계를 ‘창의성 지표’로 해석했지만, 창의성을 수치화하는 근거가 부족하고, 다른 텍스트와의 비교가 없으므로 과도한 일반화 위험이 있다.

언어 간 차이에 대한 결론은 양적 차이(예: 어휘 수, 문장 길이, 구두점 사용 빈도)는 존재하지만, Zipf 지수와 GP 차원 관계는 크게 변하지 않아 번역이 통계적 구조를 보존한다는 것이다. 이는 에스페란토가 인공어임에도 불구하고 자연어와 유사한 통계적 규칙을 따름을 의미한다. 다만, 번역 과정에서 어휘 선택과 구문 구조가 원문과 다를 수 있음에도 불구하고, 선택된 두 텍스트가 모두 ‘동화적’ 스타일을 공유하기 때문에 차이가 축소된 가능성도 있다.

요약하면, 이 논문은 텍스트를 물리학적 시계열로 변환해 Zipf와 GP 두 방법을 동시에 적용함으로써 언어의 정적·동적 복잡성을 탐색한다. 그러나 표본 제한, 모델 검증 부족, 통계적 유의성 검증 미비 등 methodological 한계가 존재한다. 향후 연구에서는 다양한 장르·언어·번역본을 확대하고, 부트스트랩·크로스밸리데이션을 통한 모델 신뢰도 평가가 필요하다.