비정질 고체에서 영감을 받은 벡터 Hopfield 네트워크: 뛰어난 기억 용량과 안정성

초록

본 연구는 고전적인 이진 Hopfield 연상 메모리 모델을 3차원 벡터 공간으로 확장했습니다. 각 뉴런을 구면(S²) 위의 단위 벡터로 정의하고, 비정질 고체의 헤시안(Hessian) 행렬과 유사한 블록 구조의 시냅스 결합을 도입했습니다. 그 결과 생성된 강성 있는 에너지 지형은 저장된 패턴을 깊은 최소값으로 안정화시키며, 시뮬레이션과 스펙트럼 분석을 통해 이진 모델보다 월등한 성능을 보였습니다. 특히 중간 이상의 연결성(Z ≳ 20-30)에서 기억 용량이 선형 이상으로 증가하는 고성능 영역이 나타났습니다.

상세 분석

이 연구의 핵심 기술적 혁신은 신경망의 물리적 모델링과 계산 신경과학 간의 유추를 구체적인 수학적 구조로 구현했다는 점입니다. 기존 Hopfield 모델의 스칼라 결합 가중치(W_ij)를 3x3 행렬 블록(W_ij)으로 대체함으로써, 뉴런 상태(벡터 s_i) 간의 방향성 있는 상호작용을 포착할 수 있게 되었습니다. 이 블록 구조는 비정질 고체에서 입자 간 결합의 강성과 방향을 나타내는 헤시안 행렬의 블록과 정확히 동형(isomorphic)입니다. 이로 인해 네트워크의 에너지 지형도가 ‘강성화(rigidified)‘되어, 저장된 패턴에 해당하는 에너지 최소점이 더 깊고 분리되며, 이는 곧 더 넓은 끌개 영역(basin of attraction)으로 이어집니다.

또한, 연결도(Z)에 따른 임계 저장 비율(γ_c)의 변화는 매우 중요한 통찰을 제공합니다. 중간 정도의 연결성에서는 γ_c가 Z에 대해 선형적으로 증가하는 평균장(mean-field) 양상을 보이지만, Z가 약 40을 넘어서면 이 선형 추세를 체계적으로 초과하는 비선형 영역으로 전환됩니다. 이는 높은 연결성이 단순히 결합 수를 늘리는 것을 넘어, 블록 구조의 방향성 상호작용이 만들어내는 ‘국소적 중복성(local redundancy)‘이 교차 간섭(cross-talk)을 효과적으로 억제하고, 패턴 모드와 벌크 스펙트럼 사이의 간격(spectral gap)을 유지하기 때문으로 해석됩니다. 즉, 네트워크가 연결성을 높여감에 따라 단순한 ‘량’의 증가가 아닌 ‘질’적 변화를 겪으며, 이는 비정질 고체가 특정 밀도 이상에서 강성과 탄성률이 급격히 증가하는 ‘캐스케이드(cascade)’ 현상과 개념적으로 유사합니다.

이 모델의 성능 향상은 단순히 차원 증가(3차원 벡터) 때문만이 아닙니다. 핵심은 이 고차원 상태 공간이 비정질 고체의 헤시안이라는 특정한 구조적 제약 하에 조직되었다는 점입니다. 이 제약이 바로 에너지 지형의 유리한 특성(깊고 분리된 최소점)을 강제하며, 이는 무작위 고차원 행렬이나 단순한 벡터 외적 확장으로는 얻기 어려운 결과입니다. 따라서 이 연구는 계산적 이점을 위해 물리 시스템의 구조적 원리를 차용하는 ‘물리학 정보 기계학습(Physics-Informed ML)‘의 성공적인 사례라고 평가할 수 있습니다.