텍스트 복잡성 분석 일반화 허스트 지수와 다중프랙탈 함수

초록

본 연구는 루이스 캐럴의 두 영문 원본과 그 에스페란토 번역문을 단어 길이와 단어 빈도에 기반한 일차원 시계열로 변환한 뒤, 일반화 허스트 지수 h(q)와 다중프랙탈 스펙트럼 f(α)를 계산한다. 원본 텍스트는 섞인(shuffled) 텍스트와 달리 비포물선형 f(α) 곡선을 보이며, 특히 에스페란토 번역은 더 극단적인 α값을 나타낸다. 이는 텍스트가 다중스케일·비대칭적인 카스케이드 구조를 가지고 있음을 시사한다. 또한 길이 기반(LTS)과 빈도 기반(FTS) 매핑 간 차이점도 논의한다.

상세 분석

이 논문은 텍스트를 물리적 시스템으로 바라보는 비전통적 접근법을 제시한다. 먼저 두 종류의 일차원 시계열을 정의한다. 첫 번째는 각 단어의 문자 수를 순서대로 나열한 ‘단어 길이 시계열(LTS)’이며, 두 번째는 텍스트 전체에서 각 단어가 등장한 횟수를 역순으로 정렬한 ‘단어 빈도 시계열(FTS)’이다. 이러한 변환은 텍스트의 구조적 정보를 시간축에 투영함으로써, 비선형 동역학 분석 도구를 적용할 수 있게 만든다.

분석 핵심은 일반화 허스트 지수 h(q)와 그로부터 유도되는 다중프랙탈 스펙트럼 f(α)이다. h(q)는 q번째 모멘트의 스케일 의존성을 나타내며, q가 양수일 때는 큰 변동(예: 긴 단어 혹은 고빈도 단어) 중심, q가 음수일 때는 작은 변동(짧은 단어 혹은 저빈도 단어) 중심의 통계적 특성을 포착한다. h(q)의 q에 대한 비선형성은 다중프랙탈성을 의미한다. 이를 푸아송 방정식 형태의 Legendre 변환을 통해 f(α) 곡선으로 변환하면, α(스케일 지수)와 그에 대응하는 차원 수 f(α)의 관계를 시각화할 수 있다.

원본 영문 텍스트와 에스페란토 번역문 모두에서 h(q)와 f(α) 곡선은 명백히 비포물선 형태를 보인다. 특히 에스페란토 텍스트는 α의 최소·최대값이 더 넓어, 더 강한 다중프랙탈 스펙트럼을 나타낸다. 이는 번역 과정에서 어휘 선택과 문장 구조가 원본과 다른 스케일링 규칙을 도입했음을 의미한다. 반면, 동일 텍스트를 무작위로 섞은(shuffled) 버전은 h(q)가 거의 일정하고 f(α) 곡선이 거의 완전한 포물선에 가까워, 단순한 단일 스케일(모노프랙탈) 특성을 보인다. 이는 원본 텍스트에 내재된 장기 상관관계와 비대칭적 카스케이드 메커니즘이 섞임에 의해 사라진다는 점을 확인한다.

LTS와 FTS 매핑 간 차이도 흥미롭다. FTS 기반 f(α) 곡선은 LTS에 비해 더 넓게 퍼져 있어, 단어 빈도 정보가 텍스트의 다중프랙탈 구조를 더 민감하게 드러낸다. 이는 빈도 분포가 Zipf 법칙과 같은 스케일 자유적 특성을 갖는 반면, 단어 길이는 상대적으로 제한된 범위에 머물기 때문이다. 따라서 두 매핑은 텍스트 복잡성을 서로 보완적으로 측정할 수 있는 도구로 활용될 수 있다.

결론적으로, 일반화 허스트 지수와 다중프랙탈 스펙트럼은 텍스트의 통계적·구조적 복잡성을 정량화하는 강력한 방법이며, 번역, 저자 스타일, 언어적 특성 등을 구별하는 데 유용함을 보여준다. 향후 연구에서는 더 다양한 언어와 장르, 그리고 다른 변환(예: 의미 네트워크)와 결합하여 텍스트 다중프랙탈성을 심층 탐구할 여지가 있다.