Hopfield 네트워크와 혼합형 볼츠만 머신의 동등성

초록

본 논문은 가시층은 이진, 숨김층은 연속형 변수로 구성된 혼합형 제한 볼츠만 머신(HBM)을 정의하고, 숨김 변수를 적분해 가시층만 남겼을 때 얻어지는 확률분포가 전통적인 Hopfield 네트워크와 동일함을 증명한다. 스토캐스틱 안정성 기법을 이용해 두 모델의 자유에너지와 상전이를 분석하고, 저장 용량과 과적합 사이의 트레이드오프를 물리적 ‘스핀 글래스 전이’에 대응시킨다. 실험 시뮬레이션은 이론적 예측을 확인한다.

상세 분석

논문은 먼저 가시층(σ_i, i=1…N)이 이진(±1)이고 숨김층(z_μ, μ=1…P)이 실수값을 갖는 혼합형 제한 볼츠만 머신(HBM)을 수식적으로 정의한다. 양쪽 층 사이의 시냅스 가중치 ξ_i^μ는 대칭이며, 숨김층은 오르니츠-웰런(Ornstein‑Uhlenbeck) 확산 과정을 통해 연속적으로 업데이트되고, 가시층은 고전적인 Glauber 동역학에 따라 이산적으로 전이한다. 저자는 숨김 변수의 빠른 시간척도(T≫)를 가정해, 가시층이 고정된 상태에서 숨김층이 정규분포(평균 ξ·σ, 분산 β⁻¹)를 따르는 평형을 얻는다. 이 조건 하에 두 층의 결합 확률분포 P(σ,z)∝exp