진화적 저장소 컴퓨팅 네트워크의 기능적 분화

초록

본 논문은 내부 연결 구조를 진화 알고리즘으로 최적화한 확장형 저장소 컴퓨터(Evolutionary Reservoir Computer, ERC)를 제안한다. 확장·수축 동역학을 순차적으로 발생시켜 입력 정보를 구분·군집화하고, 이를 통해 시각·청각과 같은 다중 감각 입력을 각각의 전용 출력층에서 정확히 분류하도록 학습한다. 진화 과정에서 네트워크는 무작위 연결에서 피드포워드·피드백을 포함한 구조로 변형되며, 특정 뉴런이 특정 입력 패턴에 특화되는 기능적 분화가 나타난다.

상세 분석

이 연구는 전통적인 저장소 컴퓨팅(RC)의 한계를 극복하기 위해 ‘진화적 저장소 컴퓨팅(ERC)’이라는 새로운 프레임워크를 도입한다. 기본 RC는 고정된 내부 가중치와 랜덤 연결을 전제로 하지만, ERC는 유전 알고리즘을 이용해 내부 가중치와 감쇠 상수(α_i)를 세대별로 변이·교배시켜 최적화한다. 핵심 아이디어는 입력 정보를 확대(expanding dynamics)하고 이후 수축(contracting dynamics)시키는 두 단계 동역학을 순차적으로 구현함으로써, 입력 차이를 증폭한 뒤 클러스터링을 유도해 다중 안정점(attractor)을 형성하는 것이다. 이러한 동역학은 동시에 발생하면 혼돈을, 순차적으로 발생하면 기능적 분화를 촉진한다는 가설에 기반한다.

모델은 N개의 뉴런으로 구성되며, 각 뉴런의 상태는
x_i(t+1) = (1‑α_i)x_i(t) + α_i tanh(∑_j w_ij x_j(t) + w_i0 + ∑_k w_in,ik I_k(t)) + ξ_i(t)
와 같이 정의된다. 네트워크는 10 %의 희소 연결을 갖고, 내부를 입력층과 출력층으로 이중화한다. 입력층은 외부 신호를 직접 받지만 출력층과는 연결되지 않으며, 출력층은 리드아웃 유닛에만 연결된다. 이렇게 구조를 구분함으로써 입력 정보가 내부에서 단계적으로 변환될 여지를 만든다.

두 가지 과제(separation task와 combination task)를 설정하였다. separation task는 시공간 패턴을 동시에 입력받아 각각 별도의 리드아웃(공간·시간)에서 올바르게 식별하도록 요구한다. 이를 위해 입력은 공간 패턴 a(l)와 시간 패턴 b(m) 의 곱으로 구성되며, 네트워크는 4 스텝의 지연을 고려해 과거 입력을 목표 출력으로 학습한다. combination task는 특정 공간·시간 조합을 하나의 리드아웃 유닛이 감지하도록 설계되어, 두 과제 간 구조적·동적 요구 차이를 비교한다.

유전 알고리즘은 초기 랜덤 네트워크 집단을 생성한 뒤, 각 네트워크에 대해 (1) 데이터 수집, (2) 리드아웃 가중치 학습(릿지 회귀), (3) 테스트 오류 계산, (4) 선택·변이·교배 과정을 반복한다. 변이는 연결 4 %를 재배치하고 가중치에 가우시안 잡음을 추가하며, α_i에도 잡음을 부여한다. 교배는 두 부모 네트워크의 연결을 절반씩 결합한다. 적합도는 공간·시간 리드아웃의 평균 제곱 오차(Q_evo)로 정의된다.

실험 결과, ERC는 초기 랜덤 RC에 비해 학습 정확도가 크게 향상되었으며, 특히 separation task에서 90 % 이상의 정확도를 달성했다. 진화 과정에서 네트워크는 무작위 연결에서 피드포워드·피드백을 포함한 구조로 전환되었고, 특정 뉴런이 특정 공간 또는 시간 패턴에 민감하게 반응하는 기능적 분화가 관찰되었다. 상호 정보(mutual information) 분석을 통해 입력과 내부 뉴런 사이의 정보 흐름이 패턴별로 차별화됨을 확인했으며, 이는 생물학적 뇌의 기능적 파셀레이션과 유사한 메커니즘으로 해석될 수 있다. 또한, 파라미터(α_i, 연결 밀도, 변이율 등)의 변화가 기능적 분화 정도에 미치는 영향을 정량적으로 제시하였다.

본 연구는 “혼돈과 안정성 사이의 동적 전이”가 기능적 특수화에 기여한다는 새로운 관점을 제공한다. 진화적 최적화와 리드아웃 학습을 결합함으로써, 저장소 컴퓨팅이 단순한 비선형 변환기를 넘어, 입력 종류에 따라 스스로 구조와 동역학을 재구성하는 적응형 시스템으로 확장될 가능성을 보여준다. 향후 연구에서는 더 복잡한 멀티모달 과제, 지속적 학습, 그리고 실제 로봇 제어 등에 ERC를 적용함으로써, 인공 신경망의 자가 조직화와 기능적 분화 메커니즘을 심층적으로 탐구할 수 있을 것이다.