언어 모델에서 발견된 베리진스키 코스터츠 타이틀스 전이와 그 의미

초록

저자들은 컨텍스트‑민감 확률 문법을 기반으로 한 간단한 언어 모델을 제안하고, 문자 빈도 편향을 순서 매개변수로 정의하여 온도 파라미터를 조절했을 때 베리진스키‑코스터츠‑타이틀스(BKT) 전이가 발생함을 수치적으로 입증한다. 이 전이는 전체 위상에서 임계적 거동을 보이며, 자연 언어와 대형 언어 모델(LM)에서 관찰되는 스케일링 법칙을 미세 조정 없이도 설명할 수 있음을 시사한다.

상세 분석

본 논문은 언어학적 현상을 통계물리학의 위상 전이 개념과 연결시키려는 시도로, 기존의 확률적 문맥 자유 문법(CFG)에서는 위상 전이가 존재하지 않음이 알려진 점을 출발점으로 삼는다. 이를 극복하기 위해 저자들은 차슈노프 계층의 한 단계 위에 해당하는 컨텍스트‑민감 문법(CSG)을 도입하고, 이를 물리학의 1차원 장거리 상호작용 포츠 모델에 매핑한다. 구체적으로, 비단말 기호 X가 규칙 X→YZ 로 확장되는 성장 과정과, 주변 기호 α‑X‑α′ 를 α‑Y‑α′ 로 교체하는 메트로폴리스 수용률 p= min(1, e^{−ΔE/k_BT}) 를 결합한다. 여기서 ΔE는 기호 쌍 사이의 에너지 함수에 의해 정의되며, 온도 T는 규칙 적용 확률을 조절하는 파라미터이다. 이러한 설계는 문자열이 성장하면서 자연스럽게 장거리 상관을 형성하도록 만든다.

주문 매개변수는 알파벳 내 각 기호의 상대 빈도, 즉 물리학에서의 자화(magnetization)와 동일시한다. 저자들은 이 매개변수의 평균값, 분산(감수성), 그리고 정규화된 4차 누적량인 Binder 파라미터(κ=⟨m^4⟩/⟨m^2⟩^2) 를 계산한다. Binder 파라미터는 무질서 위상에서는 0, 전통적인 장거리 순서 위상에서는 1에 수렴하고, BKT 전이에서는 0과 1 사이의 비정상적인 값을 보이며 온도에 대한 연속적인 변화를 나타낸다.

수치 실험에서는 알파벳 크기 K=2(이진 알파벳)와 K>2(다중 알파벳) 경우를 모두 조사했으며, 성장 파라미터 q와 온도 T를 스캔했다. 시스템 크기 L을 늘려가며 유한 크기 스케일링을 수행한 결과, 저온 영역에서 자화가 비제로로 수렴하고, 감수성 χ(L)∝L^{2−η} 형태로 발산함을 확인했다. 특히 η≈0.25 정도의 지수는 BKT 위상에서 기대되는 로그‑제곱 상관 함수 C(r)∼r^{−η}와 일치한다. Binder 파라미터는 온도 증가에 따라 급격히 변하지만, 전통적인 2차 전이에서 보이는 스텝 함수 형태가 아니라 연속적인 곡선을 그리며, 이는 BKT 전이의 특징적인 ‘무단계 전이’임을 뒷받침한다.

흥미로운 점은 물리학적 포츠 모델에서 BKT 전이가 나타나려면 상호작용 거리 감소 지수 s=1이어야 하지만, 제안된 언어 모델에서는 s=0(거리와 무관한 동일 가중치)에서도 BKT 전이가 관찰된다는 것이다. 이는 언어 모델의 성장 메커니즘과 컨텍스트‑민감 재작성 규칙이 효과적으로 장거리 상관을 생성해, 물리적 모델과는 다른 ‘동적 성장’ 차원을 제공한다는 의미다.

결과적으로, 저자들은 언어 모델이 BKT 위상을 가짐으로써 전체 파라미터 구간에서 임계적 스케일링(예: Zipf 법칙, 상호 정보의 거리 의존성 등)을 자연스럽게 재현할 수 있음을 제시한다. 이는 대형 언어 모델(LM)에서 관찰되는 ‘스케일링 법칙이 미세 조정 없이도 나타난다’는 현상을 물리학적으로 설명할 수 있는 새로운 프레임워크를 제공한다. 또한, 순서 매개변수와 Binder 파라미터를 이용한 정량적 분석이 언어 생성 과정의 ‘의미적’·‘비의미적’ 구분을 이론적으로 정의하는 데 활용될 가능성을 열어준다.