헵비안 학습이 무작위 신경망에 미치는 구조와 동역학 변화

초록

본 논문은 희소하고 흥분‑억제 구분이 있는 무작위 순환 신경망에 헵비안 학습 규칙(소멸 포함)을 적용했을 때, 가중치 행렬의 노름과 스펙트럼 반경이 급격히 감소하고, 네트워크 동역학이 저복잡도·저엔트로피 상태로 전이함을 보인다. 동시에 가장 강한 시냅스들이 작은 세계(small‑world) 토폴로지를 형성하며, 야코비안 스펙트럼이 ‘혼돈의 경계(edge of chaos)’를 통과해 입력에 대한 민감도가 최고가 된다.

상세 분석

이 연구는 생물학적 제약을 반영한 무작위 순환 신경망 모델을 구축한 뒤, 두 가지 시간 스케일(신경 활동과 시냅스 가소성)과 ‘소극적 망각(passive forgetting)’을 포함한 변형 헵비안 학습 규칙을 적용한다. 핵심 수학적 결과는 학습 과정에서 가중치 행렬 W의 Frobenius 노름이 기하급수적으로 감소한다는 점이다. 이는 W의 스펙트럼 반경 ρ(W)도 동시에 축소됨을 의미하며, 동적 시스템 이론에 따르면 ρ(J) (Jacobian의 스펙트럼 반경) 역시 비례적으로 감소한다. ρ(J) < 1 영역으로 진입하면 시스템은 수렴적(안정적) 동작으로 전이하지만, ρ(J) ≈ 1 근처, 즉 ‘혼돈의 경계’에서는 작은 입력 변화가 상태 공간을 크게 확산시켜 감도와 기억 용량이 극대화된다.

구조적 측면에서는 학습 후 가중치 행렬을 절대값 기준 상위 5~10% 시냅스만 남겨 그래프를 재구성했을 때, 평균 경로 길이는 크게 감소하고 클러스터링 계수는 무작위 그래프 대비 현저히 상승한다. 이는 전형적인 작은 세계 네트워크 특성으로, 강한 연결이 국소적으로 밀집하면서도 전역적으로는 짧은 경로를 유지한다는 것을 보여준다. 흥분성(E)과 억제성(I) 뉴런 비율을 4:1로 고정했을 때, E→E, E→I, I→E, I→I 네 종류의 시냅스가 각각 다른 감쇠율을 보이며, 특히 E→E 연결이 가장 크게 강화돼 작은 세계 클러스터를 주도한다.

또한, 학습 전후의 엔트로피 변화를 정량화하기 위해 신경 활동의 시간 시퀀스를 비트 엔트로피와 상호 정보량으로 측정했으며, 학습 후 엔트로피가 30~40% 감소함을 확인했다. 이는 네트워크가 더 규칙적인 궤도로 수렴하면서도, 중요한 정보(패턴)만을 효율적으로 전달하도록 재구성되었음을 의미한다.

이러한 결과는 두 가지 중요한 이론적 함의를 가진다. 첫째, 헵비안 학습이 단순히 가중치를 강화·약화시키는 수준을 넘어, 네트워크 전체의 스펙트럼 구조와 토폴로지를 동시에 재조정한다는 점이다. 둘째, 스펙트럼 반경 감소가 ‘혼돈의 경계’를 통과하게 함으로써, 학습 과정 자체가 최적의 계산적 역동성을 자동으로 찾아낸다. 이는 기존의 고정된 가중치 분포를 가정한 무작위 네트워크 분석과는 달리, 학습이 동적·구조적 최적화를 동시에 수행한다는 새로운 패러다임을 제시한다.

마지막으로, 실험적 검증을 위해 다양한 초기 연결 밀도(5%, 10%, 20%)와 학습률 η, 망각 상수 γ를 변동시켰으며, 모든 경우에서 가중치 노름 감소와 작은 세계 형성, 스펙트럼 반경 수축이 일관되게 관찰되었다. 특히 γ가 크면(빠른 망각) 학습 효과가 억제돼 스펙트럼 반경이 1에 머무르는 ‘임계 상태’를 오래 유지하지만, γ가 너무 작으면 급격히 수렴해 정보 전달 능력이 저하된다. 이러한 파라미터 의존성은 실제 뇌에서 시냅스 가소성 조절 메커니즘과도 일맥상통한다.