스파이킹 신경망에서 정보 응축 메커니즘 검증

초록

**
본 연구는 5개의 완전 연결 결합 뉴런으로 구성된 작은 회전형 스파이킹 네트워크에서, 입력 스파이크열이 동일한 주기적 발화 패턴으로 수렴하는 현상을 시뮬레이션으로 조사한다. 네트워크의 반경을 변화시켜 전파 지연을 조절하고, 두 가지 입력 파라다임(짧은 자극·확장된 자극)에서 발생하는 다양한 입력 집합을 시험한다. 각 입력이 수렴한 주기적 상태와 그 개수를 Shannon 정보량으로 평가해, 네트워크 크기에 따른 정보 응축 정도가 크게 달라짐을 확인한다.

**

상세 분석

**
이 논문은 정보 응축을 “다양한 입력 스파이크열이 동일한 내부 동역학(주기적 발화)으로 수렴한다”는 현상으로 정의하고, 이를 물리적 메커니즘으로서 결합 뉴런(Binding Neuron, BN) 모델에 기반한다. BN은 입력 임펄스를 일정 시간 τ(10 ms) 동안 기억하고, 저장된 임펄스 수가 임계값 N₀(=4)를 초과하면 즉시 발화한다. 이때 발화 시점은 마지막으로 도착한 임펄스의 순간이며, 이전 임펄스들의 정확한 타이밍은 무시된다. 따라서 서로 다른 시간 배치를 가진 두 입력 집합이 동일한 발화 시점을 만들 경우, 출력은 동일하게 된다—이는 입력 정보가 “압축”되는 직접적인 예시이다.

네트워크는 5개의 BN을 원형으로 배치하고, 반경 R을 0.03 mm부터 0.57 mm까지 20단계로 변화시킨다. 모든 연결선은 동일한 전파 속도 v = 0.1 m/s를 갖고, 따라서 두 종류의 지연 d와 D(짧은·긴 연결)만이 R에 따라 달라진다. 시뮬레이션은 dt = 0.2 ms의 시간 스텝으로 진행되며, 각 스텝은 입력, 축삭, 뉴런 순으로 업데이트된다. 이는 실제 비동기 전파 지연을 정밀히 반영하면서도 구현상의 편의를 위해 정수 연산으로 처리한다.

입력 자극은 각 뉴런에 한 번씩 도달하는 5개의 임펄스로 구성된다. t₀은 항상 1 dt로 고정해 회전 대칭을 제거하고, t₁~t₄는 1 dt부터 t_max dt까지 선택한다. 두 파라다임이 사용된다. (1) 짧은 자극 파라다임에서는 t_max = d, 즉 모든 외부 임펄스가 내부 연결으로부터 도착하기 전에 입력이 끝난다; 가능한 입력 조합 수는 d⁴에 불과하다. (2) 확장된 파라다임에서는 t_max = M (d의 약 3배)으로, 입력이 내부 연결 지연과 겹치면서 복잡한 상호작용을 허용한다; 여기서는 최대 10⁸개의 입력 조합을 시험한다.

시뮬레이션은 각 입력에 대해 네트워크가 안정적인 주기적 상태에 도달할 때까지 진행한다. 주기적 상태는 전체 네트워크(5 뉴런 + 20 연결선)의 순간 상태 시퀀스로 기록되며, 동일한 순환이 재현되면 하나의 attractor로 간주한다. 발견된 attractor의 수와 각 attractor에 매핑된 입력 집합의 크기를 바탕으로 Shannon 엔트로피를 계산한다. 입력 엔트로피 H_in = log₂(N_input)이며, 출력 엔트로피 H_out = log₂(N_attractor)이다. 정보 응축 비율은 η = H_out / H_in 로 정의된다.

결과는 네트워크 반경이 증가함에 따라 d와 D가 커져 전파 지연이 길어지면서, 동일한 입력 집합이 서로 다른 주기적 상태에 수렴할 가능성이 높아진다. 작은 R(예: 0.03 mm)에서는 거의 모든 입력이 동일한 1‑주기(또는 소수의) attractor에 수렴해 η가 매우 낮다(≈0.1). 반면 R이 0.5 mm 이상으로 커지면 수십 개의 서로 다른 attractor가 발견되고, 각 attractor에 매핑되는 입력 집합도 작아져 η가 0.4~0.6 수준까지 상승한다. 특히 확장된 파라다임에서는 입력 공간이 크게 확대되면서도 attractor 수는 상대적으로 제한적이어서, 큰 네트워크일수록 정보 압축 효율이 크게 향상된다는 점이 강조된다.

또한, 주기 길이 자체도 R에 따라 변한다. 짧은 네트워크에서는 주기가 13 dt에 불과했으나, 큰 네트워크에서는 1030 dt까지 다양하게 나타난다. 이는 전파 지연이 주기 결정에 핵심 역할을 함을 시사한다. 저자들은 이러한 현상이 “동일한 개념(특징)을 나타내는 다양한 감각 입력이 뇌의 상위 영역에서 동일한 균일 발화 패턴으로 표상된다”는 가설을 뒷받침한다고 주장한다.

한계점으로는 네트워크 규모가 5노드에 불과해 실제 뇌 회로의 복잡성을 충분히 반영하지 못한다는 점, BN 모델이 실제 신경세포의 복합적인 전기·화학적 역학을 단순화한다는 점, 그리고 입력 공간을 전부 탐색하는 데 계산 비용이 급증한다는 점을 들 수 있다. 그럼에도 불구하고, 물리적 파라미터(전파 지연)와 정보 압축 사이의 정량적 관계를 최초로 제시한 점은 의미가 크다.

**