확장 컨텍스트 무질서 동역학 스핀 모델의 동적 평균장 이론

초록

본 논문은 언어 모델의 자동회귀 구조에 영감을 받아, 큰 차원 임베딩 공간에서 정의되는 확장된 컨텍스트를 갖는 무질서 K-스핀 모델을 제안한다. 이 모델은 이산·연속·구면 세 가지 형태로 구성되며, 상호작용 행렬의 시간‑지연 상관을 조절함으로써 원하는 시간 상관을 만들 수 있다. 대규모 N 한계에서 동적 평균장 이론(DMFT)을 정확히 유도하고, 수치 실험을 통해 이론과 시뮬레이션이 일치함을 확인한다.

상세 분석

이 논문은 현대 대형 언어 모델(LLM)의 자동회귀 확률 구조 p(s_t|s_{t‑1},…,s_{t‑K})를 물리학적 스핀 시스템에 매핑함으로써, 분석 가능한 toy model을 구축한다는 점에서 혁신적이다. 기존의 완전 비대칭 kinetic Sherrington‑Kirkpatrick(kSK) 모델은 한 단계에서 완전한 탈동조화를 보이며, 시간 상관을 조절할 여지가 없었다. 저자들은 이를 극복하기 위해 K개의 독립적인 상호작용 행렬 J_k를 도입하고, 각 행렬을 평균 0, 분산 g²/N인 가우시안으로 설정하면서도 시간 지연(k) 사이에 상관 행렬 Γ_{k,k’}을 부여한다. 이 설계는 (i) N→∞ 한계에서 평균장 해석이 가능하도록 하고, (ii) 각 스핀(또는 연속 변수)들이 로컬 필드 h_t=−β∑k J_k s{t‑k}에 조건부 독립성을 유지하게 함으로써 샘플링 비용을 크게 낮춘다.

세 가지 구체적 구현(Ising, Gaussian, Spherical)은 각각 이산 ±1, 연속 실수, 그리고 고정 노름 구면 위의 벡터 공간을 사용한다. Ising과 Gaussian 경우는 로컬 필드가 주어지면 각 차원이 독립적인 베르누이·정규 분포를 따르며, 구면 경우는 von Mises‑Fisher 분포를 통해 효율적인 샘플링이 가능하다.

동적 평균장 이론(DMFT) 전개는 표준 경로 적분 및 복제 기법을 활용한다. 핵심 순서 매개변수는 두점 상관 함수 C_{t,t’}=E_J