일시적 상태 역학을 구현한 신경망

초록

우리는 피질 신경 활동에서 관찰되는 것과 같은, 뚜렷한 반안정적 활동 패턴이 연속적으로 나타나는 동적 시스템을 연구한다. 이 논문에서는 흡인자 네트워크와 특정한 부착된 일시적 상태 네트워크 사이의 아디아바틱 연속을 가능하게 하는 일반적인 메커니즘을 제안하고 논의한다. 이 일시적 상태 네트워크는 엄격히 소산적이며, 작업점이 자동으로 조절될 때 기능을 유지한다. 즉, 장기간 정체 상태에 머무르거나 급격한 변동 영역으로 표류하는 현상을 방지한다. 연속시간 신경망 모델을 이용해, 온라인 학습을 위한 단일 국소 업데이트 규칙이 동시에 (i) 비지도 Hebbian형 학습에 의한 정보 저장, (ii) 작업점의 적응적 조절, (iii) 시냅스 성장의 폭주 억제를 가능하게 함을 보인다. 시뮬레이션 결과를 제시하고, 시간 역전 대칭 및 연결 대칭의 자발적 파괴 현상을 논한다.

상세 요약

본 논문은 뇌 피질에서 관찰되는 ‘전이적(Transient)’ 활동 패턴, 즉 일정 시간 동안 유지되다가 급격히 다른 패턴으로 전이되는 현상을 수학적·공학적으로 모델링하려는 시도이다. 전통적인 흡인자 네트워크(attractor network)는 고정된 안정점 혹은 주기적 궤도를 갖으며, 외부 자극이 없으면 시스템은 해당 상태에 머무른다. 그러나 실제 뇌는 끊임없이 새로운 정보에 반응하면서도 과도한 정체(stasis)나 무작위적 변동을 피한다. 이를 설명하기 위해 저자들은 ‘아디아바틱 연속(adabatic continuation)’이라는 개념을 도입한다. 이는 파라미터를 매우 천천히 변화시켜 흡인자 네트워크와 일시적 상태 네트워크 사이를 매끄럽게 연결하는 방법으로, 두 시스템이 공유하는 동적 구조를 유지하면서도 소산성(dissipative) 특성을 부여한다. 소산성은 에너지(또는 Lyapunov 함수)가 지속적으로 감소함을 의미하며, 이는 시스템이 무한히 오래 지속되는 진동이나 발산을 방지한다.

핵심 메커니즘은 ‘작업점(working point)’의 자동조절이다. 네트워크는 자체적인 피드백을 통해 평균 활성도와 시냅스 강도의 스케일을 조절한다. 이 과정에서 ‘런어웨이 시냅스 성장(runaway synaptic growth)’이 억제되는데, 이는 전통적인 Hebbian 학습이 시냅스 가중치를 무한히 증가시키는 경향을 보이는 문제점을 해결한다. 구체적으로, 저자들은 연속시간 신경망 모델에 단일 국소 업데이트 규칙을 적용한다. 이 규칙은 (1) 전후 시냅스 간의 공동 활성에 기반한 Hebbian 강화, (2) 전체 네트워크의 평균 활성도와 비교하여 가중치를 스케일링하는 조절항, (3) 가중치가 일정 범위를 초과하면 감쇠시키는 억제항으로 구성된다. 이러한 삼중 효과는 학습이 진행되는 동안에도 네트워크가 ‘반안정적(semistable)’ 패턴을 연속적으로 생성하도록 만든다.

시뮬레이션 결과는 두 가지 중요한 물리적 대칭성이 자발적으로 깨진다는 점을 보여준다. 첫째, 시간 역전 대칭(time‑reversal symmetry)이 깨져, 과거와 현재의 상태가 대칭적으로 연결되지 않는다. 이는 실제 뇌가 과거 정보를 기반으로 현재를 예측하고 미래를 준비하는 비가역적 과정을 반영한다. 둘째, 연결 대칭(link symmetry), 즉 시냅스 가중치가 대칭 행렬을 이루는 특성이 깨져, 방향성 있는 흐름이 형성된다. 이러한 비대칭성은 정보 흐름이 일방향으로 진행되는 뇌 회로의 실제 구조와 일치한다.

결론적으로, 이 연구는 흡인자 네트워크와 일시적 상태 네트워크 사이의 연속성을 제공함으로써, 뇌가 어떻게 안정성과 유연성을 동시에 유지하는지를 설명한다. 또한, 단일 국소 학습 규칙만으로도 정보 저장, 작업점 조절, 시냅스 성장 억제라는 세 가지 핵심 기능을 구현할 수 있음을 입증한다. 이러한 통합 모델은 인공 신경망 설계, 특히 지속적인 온라인 학습과 자가조절이 요구되는 로봇 제어·뇌‑컴퓨터 인터페이스 분야에 직접적인 응용 가능성을 제시한다.