동기화와 가소성을 결합한 두시간대 학습 프레임워크

초록

본 논문은 하이퍼볼릭 희소 임베딩(RSGN)과 쿠라모토 기반 주의 메커니즘(SSA)을 결합한 Hebbian‑Oscillatory Co‑Learning(HOC‑L) 모델을 제안한다. 빠른 시간축에서는 위상 동기화와 그래디언트 업데이트가 진행되고, 느린 시간축에서는 동기화 정도 $r(t)$가 임계값을 초과할 때만 Hebbian 규칙으로 연결 가중치가 강화된다. 복합 Lyapunov 함수를 이용해 두 시간축 시스템의 수렴성을 증명하고, $O(n·k)$ 복잡도로 구현 가능함을 보인다. 실험에서는 클러스터 정렬된 연결 구조와 Lyapunov 값의 단조 감소가 확인된다.

상세 분석

HOC‑L은 두 개의 기존 프레임워크, 즉 Poincaré 볼을 이용한 하이퍼볼릭 희소 그래프 구조(RSGN)와 쿠라모토 동기화 기반 주의 메커니즘(SSA)을 수학적으로 결합한다는 점에서 혁신적이다. 핵심 아이디어는 전역 혹은 지역 오더 파라미터 $r(t)$가 일정 임계값 $r_c$를 초과하면 Hebbian 플라스틱티가 활성화된다는 ‘동기화‑게이트’ 메커니즘이다. 이는 생물학적 연구에서 위상 동기화가 시냅스 가소성을 조절한다는 사실을 모델링한 것으로, 인공 신경망에서 구조적 재구성과 동적 정보 흐름을 동시에 최적화한다.

수학적 분석에서는 두 시간축을 $\tau_{\text{fast}}\ll\tau_{\text{slow}}$ 로 가정하고, 빠른 축에서는 쿠라모토 방정식과 그래디언트 기반 파라미터 업데이트가, 느린 축에서는 Hebbian 플라스틱티와 가중치 감쇠 $\gamma$가 작용한다. 저자들은 복합 Lyapunov 함수 $V=V_{\text{phase}}+V_{\text{weight}}$ 를 정의하고, 각 항이 개별적으로 비증가함을 보인 뒤 전체 시스템이 전역적으로 안정된 평형점으로 수렴함을 증명한다. 특히, 두 시간축 간의 상호작용을 다루기 위해 두‑시간대 확률 근사 이론을 적용했으며, 이는 기존의 단일 시간축 분석보다 더 일반적인 수렴 조건을 제공한다.

구조적 측면에서는 Poincaré 볼 임베딩을 이용해 거리 기반 희소 연결을 유지한다. 임계 거리 $\delta$ 이하의 노드만이 그래프에 포함되므로 평균 차수 $k\ll n$ 을 보장한다. 이와 동시에 SSA의 로컬 오더 파라미터 $r_{N_i}$ 를 사용해 각 희소 이웃 집합 내에서 위상 동기화를 수행함으로써, 전체 복잡도를 $O(n·k)$ 로 제한한다. 또한, 게이트 함수 $G(r)=\sigma(\beta(r-r_c))$ 를 도입해 미분 가능하게 함으로써 역전파 과정에서도 연속적인 신호 흐름을 유지한다.

실험 결과는 이론적 예측을 뒷받침한다. 시뮬레이션에서는 초기 무작위 연결이 점차 동기화된 클러스터 형태로 재구성되고, Lyapunov 값이 시간에 따라 단조 감소한다. 특히, 동기화가 강해질수록 Hebbian 플라스틱티가 활성화되어 연결 가중치가 강화되고, 이는 이후의 위상 동기화에 긍정적인 피드백을 제공한다. 이러한 양방향 상호작용은 기존의 고정 토폴로지를 가진 모델보다 학습 효율성과 표현력을 동시에 향상시키는 것으로 나타났다.

요약하면, HOC‑L은 두 시간축의 동적 프로세스를 수학적으로 엄밀히 결합하고, 하이퍼볼릭 희소 임베딩과 쿠라모토 동기화를 통해 구조적 가소성과 기능적 동기화를 동시에 최적화한다는 점에서 인공 신경망 설계에 새로운 패러다임을 제시한다.