네 글자 단어의 통계역학 접근

초록

이 논문은 네 글자 영어 단어를 문자 간 상호작용 네트워크로 모델링하고, 문자 쌍의 상관관계만을 제약조건으로 하는 최대 엔트로피 모델을 구축한다. 결과적으로 전체 통계의 92%에 해당하는 다중정보를 포착하고, 데이터에 없던 실제 단어도 예측한다. 에너지 지형의 국소 최소점이 전체 단어 집합의 약 2/3을 설명한다.

상세 분석

본 연구는 언어를 물리학적 시스템으로 바라보는 획기적인 시도를 보여준다. 저자들은 네 글자 단어를 4개의 자리마다 알파벳 26자를 배치할 수 있는 26⁴=456 976개의 가능한 상태 공간으로 정의하고, 실제 영어 텍스트 코퍼스에서 관측된 단어들의 출현 빈도를 확률분포 P(s)로 추정한다. 전통적으로 언어 규칙은 복잡한 규칙 집합과 예외 규칙으로 이루어졌다고 여겨졌지만, 저자들은 이러한 복잡성을 최소한의 통계적 제약, 즉 각 자리별 문자 빈도와 인접 자리 사이의 쌍wise 상관관계(총 3×26×26개의 파라미터)만으로도 충분히 설명할 수 있음을 증명한다.

최대 엔트로피 원칙에 따라, 주어진 쌍wise 상관관계를 만족하는 가장 무작위적인 분포는
Pₘₑ(s)=Z⁻¹ exp