밀도 높은 패턴의 동적 안정성 이론

초록

본 논문은 연속적인 뉴런 활성도를 갖는 이산적 attractor 신경망에서, 패턴의 밀도가 높을 때도 적용 가능한 새로운 안정성 이론을 제시한다. Jacobian 스펙트럼의 bulk과 outlier를 직접 분석해, 전통적인 저장 용량(critical capacity)과는 별개의 ‘안정성 임계 부하’ α S 를 도출한다. 특히, threshold‑linear(soft‑rectified power‑law) 활성함수와 로그정규 분포의 패턴을 고려했을 때, α S 가 패턴의 평균·분산, 활성함수 매개변수, 그리고 뉴런 임계값에 따라 어떻게 변하는지를 정량적으로 설명한다. 실험적 최적화와 이론적 예측이 일치함을 보이며, 비대칭·비정규성(weight matrix)에서도 안정적인 기억 회상이 가능함을 확인한다.

상세 분석

이 연구는 기존의 Hebbian 에너지 기반 접근법이 요구하던 이진·희소 패턴, 대칭 가중치 행렬, 포화형 활성함수와 같은 제한을 완화한다. 저자들은 먼저 연속 전압‑활성 모델 τ · ṽ = − v + W g(v−θ) 를 rate 형태 τ · ṙ = − r + g(W r−θ) 로 변환하고, g(·) 를 소프트‑rectified power‑law 형태(g(v)=hσπ ln