무작위 타이핑에서 정보량과 단어 길이의 관계

초록

이 논문은 무작위 타이핑 모델을 이용해 단어 길이와 정보량 사이에 선형 관계가 나타날 수 있음을 보인다. 최적화 과정 없이도 문자 자체가 만든 단위 때문에 높은 상관관계가 발생한다는 점을 강조한다.

상세 분석

본 연구는 Piantadosi 등(2011)이 제시한 ‘정보량과 단어 길이의 선형 관계는 언어 최적화의 결과’라는 주장에 대한 대안적 해석을 제공한다. 저자들은 전통적인 정보 이론 개념—엔트로피, 조건부 엔트로피—을 무작위 타이핑(random typing) 과정에 적용한다. 무작위 타이핑은 키보드의 각 문자와 공백(단어 구분자)을 일정 확률로 독립적으로 누르는 과정으로, 실제 언어와는 달리 의미나 맥락을 고려하지 않는다. 세 가지 변형(동일 확률, 비대칭 확률, 그리고 공백 삽입 확률 조정)을 통해 각 경우에 대한 기대 정보량 I(w)와 단어 길이 ℓ의 정확한 선형식 I(w)=a·ℓ+b를 유도한다. 여기서 기울기 a와 절편 b는 문자 집합 크기와 각 문자·공백의 발생 확률에 전적으로 의존한다. 중요한 점은, 이러한 선형식이 최적화 메커니즘이 아니라 ‘문자를 단위로 하는 구조적 제약’에서 자연스럽게 도출된다는 것이다. 실험적으로도 무작위 텍스트에서 정보량과 단어 길이 사이의 피어슨 상관계수가 0.9 이상으로 매우 높게 나타났으며, 이는 실제 언어 코퍼스에서 관찰된 상관관계와 정량적으로 유사하다. 따라서 단어 길이와 정보량의 상관이 최적화의 증거라기보다, 문자 수준의 확률적 구성에 의해 자동으로 발생할 수 있음을 보여준다. 이 결과는 언어 진화론적 논의에서 최적화 가설을 재검토하도록 촉구한다.