자율 활성 신경망을 통한 인지 계산의 새로운 지평

초록

이 리뷰는 인간 뇌의 자율적 활동과 외부 감각 입력이 어떻게 상호작용하는지를 이론적 모델링 관점에서 살펴본다. 특히, 지속적인 과도기 상태를 보이는 두 가지 신경망 구조인 ‘안장점 네트워크’와 ‘흡인점 잔재 네트워크’를 중심으로, 내부 안정성과 외부 자극에 대한 민감성을 동시에 만족시키는 메커니즘을 제시한다. 로컬 Hebbian 학습을 통해 독립 성분 분석(ICA)과 의미 부여가 자율적으로 이루어지는 인지 능력이 emergent하게 나타난다.

상세 분석

본 논문은 뇌의 자율적 활성을 단순한 잡음이 아니라, 정보 처리에 핵심적인 ‘내부 시계’로 간주한다. 이를 위해 저자는 먼저 실험적 증거를 요약하며, 뇌가 외부 자극이 없을 때도 복잡한 전기적 패턴을 생성한다는 점을 강조한다. 이러한 패턴을 인공 신경망에 적용하기 위해 ‘reservoir computing’ 프레임워크를 검토하고, 전통적인 고정된 리저버와 달리 지속적인 과도기(transient) 상태를 유지하는 네트워크가 필요함을 주장한다.

두 가지 주요 아키텍처가 소개된다. 첫 번째는 ‘안장점 네트워크(saddle point network)’로, 시스템이 고차원 상태공간에서 안장점 근처를 흐르며 일시적인 안정성을 제공한다. 이때 네트워크는 외부 입력에 따라 안장점 주변의 흐름이 변형되어, 입력에 대한 민감도가 확보된다. 두 번째는 ‘흡인점 잔재 네트워크(attractor relic network)’이다. 여기서는 기존의 강한 흡인점(attractor)이 약화된 형태, 즉 ‘잔재(attractor relic)’로 존재한다. 여러 잔재가 경쟁적으로 활성화되면서 일시적인 지배 상태를 차지하고, 동시에 외부 입력이 이 경쟁 구도를 교란시켜 새로운 전이 상태를 유도한다.

핵심적인 메커니즘은 경쟁적 신경동역학과 로컬 Hebbian 학습의 결합이다. 경쟁은 각 잔재가 자신의 활성화 영역을 확보하려는 과정에서 발생하며, Hebbian 규칙은 활성화된 잔재와 동시에 들어오는 감각 입력 사이에 상관관계를 강화한다. 결과적으로 네트워크는 입력 스트림의 독립 성분을 자동으로 분리하고, 각 성분을 특정 잔재에 매핑한다. 이는 전통적인 비선형 ICA와 유사하지만, 외부 감독 없이 지속적인 자율 활동 속에서 이루어진다.

이러한 구조는 두 가지 상충되는 요구—내부 상태의 안정성 및 외부 자극에 대한 민감성—를 동시에 만족한다. 안정성은 잔재 간의 경쟁과 얕은 흡인점 구조가 제공하고, 민감성은 입력에 의해 경쟁 구도가 재구성되는 동적 메커니즘이 담당한다. 따라서 시스템은 ‘자율적 인지 계산’이라는 새로운 형태의 정보 처리를 구현한다.