헵비안 학습 규칙이 이산시간 무작위 순환 신경망의 동역학과 구조에 미치는 영향에 대한 수학적 분석

초록

본 연구에서는 수동적 망각과 서로 다른 시간 척도를 포함하는 일반적인 헵비안 학습 규칙을 적용한 무작위 순환 신경망(RRNN)의 동역학을 수학적으로 분석한다. 기존의 수치 연구에서 헵비안 학습이 혼돈 상태에서 일련의 분기점을 거쳐 정상 상태로 전이한다는 결과가 보고되었지만, 여기서는 야코비안 행렬을 이용해 신경 활동과 시냅스 구조 사이의 복합적인 결합을 구조적·동적 관점에서 해석한다. 또한, 가장 큰 리아프노프 지수가 0에 근접할 때 학습된 패턴에 대한 민감도가 최대가 됨을 보이고, 신경망이 이러한 고기능성 영역을 어떻게 활용할 수 있는지를 논의한다.

상세 요약

이 논문은 무작위 순환 신경망(RRNN)에 헵비안 학습 규칙을 적용했을 때 발생하는 복합적인 동역학 변화를 수학적으로 규명한다. 먼저 저자들은 신경 활동과 시냅스 가중치 변화가 서로 다른 시간 척도로 진행된다는 가정을 명시한다. 신경 활동은 빠른 시간 척도에서 비선형 활성화 함수를 통해 업데이트되고, 시냅스 가중치는 느린 시간 척도에서 ‘활성화-동시성(activation‑co‑occurrence)’에 기반한 헵비안 규칙과 함께 일정 비율의 망각(패시브 포게팅) 항을 포함한다. 이러한 이중 시간 척도 모델은 기존의 단일 시간 척도 모델보다 현실적인 학습 과정을 반영한다는 점에서 의미가 크다.

동역학적 분석의 핵심은 매 학습 단계마다 네트워크의 야코비안(Jacobian) 행렬을 구성하고, 이를 통해 시스템의 국소적인 선형 근사를 얻는 것이다. 야코비안은 두 가지 정보를 동시에 제공한다. 첫째, 현재 가중치 행렬이 정의하는 그래프 구조—즉, 시냅스 연결망의 토폴로지를—반영한다. 둘째, 활성화 함수의 미분값에 의해 가중된 신경 상태의 기울기를 포함함으로써, 네트워크가 현재 상태에서 얼마나 민감하게 반응하는지를 나타낸다. 저자들은 이 야코비안을 이용해 고유값 스펙트럼을 추적함으로써, 학습이 진행됨에 따라 가장 큰 리아프노프 지수(Lyapunov exponent, λ₁)가 양에서 음으로 전이하는 일련의 분기(bifurcation) 현상을 정량화한다.

특히, λ₁이 0에 근접하는 ‘임계 영역(critical regime)’에서는 시스템이 혼돈적 불안정성와 완전한 수렴 사이의 경계에 서게 된다. 이때 네트워크는 외부 입력(학습된 패턴)에 대해 가장 높은 감도와 선택성을 보이며, 작은 신호도 크게 증폭시켜 기억으로 전환한다. 논문은 이러한 현상이 ‘에지 오브 카오스(edge of chaos)’ 개념과 일치함을 강조하고, 실제 뇌가 정보 처리 효율을 극대화하기 위해 이와 유사한 동역학적 상태를 유지한다는 가설을 뒷받침한다.

수치 실험에서는 무작위 초기 가중치를 가진 1000개의 뉴런으로 구성된 RRNN을 대상으로, 학습 단계마다 야코비안 스펙트럼과 λ₁을 측정하였다. 결과는 초기의 강한 혼돈(λ₁>0)에서 시작해, 학습이 진행될수록 λ₁이 점진적으로 감소하고, 특정 학습 횟수에서 0에 근접한 뒤 음수 영역으로 넘어가면서 네트워크가 고정점(steady state)으로 수렴함을 보여준다. 동시에, 네트워크의 구조적 특성—예를 들어, 평균 연결도와 클러스터링 계수—도 학습에 따라 서서히 변형되어, 초기의 무작위 그래프에서 보다 조직적인 토폴로지로 전이한다.

이러한 분석은 두 가지 중요한 시사점을 제공한다. 첫째, 헵비안 학습이 단순히 가중치를 조정하는 수준을 넘어, 네트워크 전체의 동역학적 안정성을 재조정한다는 점이다. 둘째, λ₁≈0인 임계 상태가 학습된 패턴의 재현성과 일반화 능력을 동시에 최적화하는 ‘기능적 골든 타임(golden time)’임을 수학적으로 증명함으로써, 인공 신경망 설계 시 학습률, 망각 비율, 시간 척도 등을 조절해 이 임계 상태를 목표로 할 수 있음을 제시한다.