적응 신경망의 끌개 메타다이내믹스

초록

본 논문은 시냅스와 내재적 가소성이라는 느린 적응 과정이 빠른 신경 동역학의 매력점(아다이어빗 어트랙터) 지형을 어떻게 변화시키는지를 ‘끌개 메타다이내믹스(attractor metadynamics)’라는 개념으로 정의하고, 연속시간 자율 신경망 모델들을 통해 1차·2차 변화와 연속·불연속 전이를 분석한다.

상세 분석

논문은 두 개의 시간 척도를 명확히 구분한다. 빠른 척도는 연속시간 방정식 (\dot x_i = -\Gamma x_i + \sum_j w_{ij} y_j) 와 시그모이드 출력 (y_i = 1/(1+e^{a_i(b_i - x_i)})) 에 의해 결정되는 전압‑발화 역학이며, 느린 척도는 각 뉴런의 이득 (a_i)와 임계값 (b_i)가 폴리홈오스테이시스(polyhomeostatic) 원칙에 따라 최소화되는 Kullback‑Leibler 발산 (K_i) 에 의해 서서히 변한다. 적응 규칙 (\dot a_i = \eta_a\bigl(1/a_i + (x_i-b_i)\theta\bigr),; \dot b_i = \eta_b(-a_i)\theta) 에서 (\theta = 1-2y_i + \lambda(1-y_i)y_i) 는 목표 확률분포 (p_\lambda(y)\propto e^{\lambda y}) 와의 차이를 줄이도록 설계되었으며, 이는 전통적인 단일 변수 홈오스테이시스를 확장한 형태다.

두 종류의 네트워크—자기 연결된 단일 뉴런(autapse)과 3‑site 억제‑흥분 회로—를 통해 메타다이내믹스의 구체적 양상을 탐구한다. autapse에서는 (a,b) 값에 따라 하나 또는 두 개의 안정점이 존재하고, 적응 과정이 진행되면서 (a(t), b(t)) 가 히스테리시스 루프를 따라 이동한다. 이때 어트랙터 수가 (1 \leftrightarrow 2 \leftrightarrow 1) 으로 변하는 1차 전이가 발생하고, 어트랙터 위치 자체가 불연속적으로 점프한다(불연속 메타다이내믹스). 반면 3‑site 회로에서는 여섯 개의 (a_i, b_i) 가 동시에 적응하지만, 전체 시스템은 단일 안정점만을 유지한다. 이 안정점은 (a_i, b_i) 의 연속적인 변화에 따라 부드럽게 이동하며, 결국 ((y_1, y_3)) 평면에 닫힌 궤적을 형성한다(연속 메타다이내믹스). 두 경우 모두 실제 신경 활동은 ‘전이 상태(transient‑state)’ 혹은 ‘잠재적 어트랙터(relict)’를 따라 흐르며, 적응이 없을 때는 저장된 패턴에 정착하지만, 적응이 있으면 지속적인 자가‑활성화와 패턴 전이가 일어난다.

핵심 통찰은 (1) 느린 적응이 어트랙터 지형을 동적으로 재구성함으로써 신경망이 고정된 메모리 대신 유연한 탐색‑전이 동역학을 보일 수 있다, (2) 메타다이내믹스는 연속적 변형과 불연속적 전이 두 형태를 모두 가질 수 있으며, 이는 뇌의 의사결정·인지 과정에서 관찰되는 급격한 전이와 점진적 변화를 동시에 설명할 수 있는 메커니즘을 제공한다는 점이다. 또한 폴리홈오스테이시스 기반 적응 규칙은 정보 이론적 최적화와 생물학적 홈오스테이시스 사이의 연결 고리를 제시한다.