네트워크 복잡성으로 바라본 바벨 도서관 텍스트 구분

초록

본 논문은 텍스트를 단어 공기망(word co‑occurrence network)으로 변환해 복잡계 네트워크 지표를 분석한다. 단어 빈도에 의존하는 지표와 문법적 구조에 의해 결정되는 지표를 구분하고, 특히 평균 클러스터링 계수와 평균 최단 경로 길이 사이의 특수한 상관관계가 의미 있는 텍스트에만 나타남을 보인다. 이를 통해 의미 있는 텍스트와 무의미·암호화된 텍스트를 구별하는 새로운 기준을 제시한다.

상세 분석

논문은 먼저 바벨 도서관이라는 가상의 전체 텍스트 집합을 배경으로, 의미가 있는 책과 무의미하거나 암호화된 책을 구분할 통계적 기준을 찾고자 한다. 텍스트를 단어 노드와 인접 단어 사이의 무방향 엣지로 구성한 단어 네트워크를 구축하고, 네트워크의 전역 및 국부 지표를 측정한다.

1. **차수 분포(P(k))**는 Zipf 법칙에 의해 결정되는 단어 빈도의 투영으로, 원본 텍스트와 임의 순열(암호화) 텍스트 모두에서 동일한 파워‑law 형태를 보인다. 따라서 차수 분포만으로는 의미 여부를 판별할 수 없으며, 이는 기존 연구에서 Zipf 법칙만으로 텍스트 의미를 판단하기 어려운 점을 재확인한다.
2. **평균 클러스터링 계수(C)**와 **평균 최단 경로 길이(L)**를 함께 살펴보면, 의미 있는 자연어 텍스트는 높은 C값을 보이며, 이는 단어 간 전이성(transitivity)이 강함을 의미한다. 반면 암호화된 텍스트와 프로그래밍 코드(형식 언어)는 C값이 현저히 낮아 네트워크가 거의 무작위에 가깝다.
3. 특히 논문은 C와 L 사이의 경험적 관계 C ∼ L⁻³·⁵⁶를 발견한다. 이 관계는 다양한 자연어 코퍼스(다국어 선언문, 고전 소설, 해리 포터 등)에서 일관되게 나타났으며, 바벨 도서관의 ‘Vöynich 원고’와 프로그래밍 코드에서는 이 패턴이 깨진다. 즉, 이 함수형 관계는 “의미 있는 텍스트”에만 존재하는 특수한 네트워크 서명이라고 주장한다.
4. 실험 설계는 원본 텍스트를 단순 순환 퍼뮤테이션(τ)으로 암호화해 동일한 차수 분포를 유지하면서도 연결 구조를 무작위화한다. 이를 통해 빈도 기반 지표와 구조 기반 지표를 명확히 구분할 수 있었다.
5. 다양한 언어와 장르에 대한 비교표(I)에서는 평균 차수(k), 클러스터링(C), 평균 경로(L) 등을 제시한다. 특히 언어별 차이(C가 언어마다 크게 변동)에도 불구하고, C와 L의 비선형 관계는 일관성을 유지한다는 점이 흥미롭다.
6. 한계와 향후 과제로는 현재 네트워크가 단순히 인접 단어만을 고려한다는 점, 구문적 의존성(예: 의존 구문 트리)이나 의미적 연결(동의어, 주제어) 등을 포함하지 않았다는 점을 언급한다. 또한, 암호화 방식이 더 복잡해질 경우(예: 단어 치환 + 순서 재배열) 현재 제시된 지표가 얼마나 강인한지 검증이 필요하다.
   결론적으로, 논문은 복잡계 네트워크 이론을 텍스트 분석에 적용해 “클러스터링‑경로 상관관계”라는 새로운 메트릭을 제시함으로써, 의미 있는 텍스트와 무의미·암호화된 텍스트를 구별하는 실용적 도구를 제공한다는 점에서 학문적·실용적 의의가 크다.