이산 시냅스의 정보 용량과 최적 학습 규칙

초록

본 논문은 가중치가 제한된 이산값을 갖는 시냅스 네트워크의 저장 용량을 Shannon 정보 관점에서 정량화한다. 최적 학습 규칙을 도출하고, 시냅스 수, 상태 수, 그리고 코딩 희소성에 따른 정보 저장량을 분석한다. 결과는 시냅스가 많아질수록 초기 SNR은 높아지지만, 정보당 시냅스당 용량은 ~ 1/√n 으로 감소함을 보여준다. 또한 상태 수가 늘어날수록 초기에는 용량이 증가하지만, 충분히 많아지면 포화한다.

상세 분석

이 논문은 먼저 연속적인 무한 가중치와 달리, 실제 생물학적 시냅스가 가질 수 있는 유한한 이산 상태(W)와 경계값을 모델링한다. 입력 패턴은 이진 벡터 xₐ 이며, 강화(p)와 약화(q=1−p) 확률에 따라 각각 −p와 q 값을 갖는 두 상태가 할당된다. 시냅스 가중치는 0을 중심으로 등간격으로 배치된 W개의 값으로 표현되며, 학습은 온라인 비지도 방식으로 Markov 전이 행렬 M⁺(강화)와 M⁻(약화)를 통해 이루어진다.

핵심은 저장된 패턴과 새로운 패턴 사이의 신호‑대‑노이즈 비율(SNR)을 정의하고, 이를 Shannon 정보 I(t)=1+r(t)log₂r(t)+(1−r(t))log₂(1−r(t)) 로 변환한 뒤, 전체 패턴에 대해 누적하여 시냅스당 평균 정보 I_S를 구한다. 여기서 r(t)=½ erfc(p·SNR(t)/8)이며, SNR(t)는 학습 직후의 평균 신호 차와 분산을 이용해 계산된다.

두 극한을 분석한다. (1) 초기 SNR이 매우 낮은 경우, I_S≈(1/4πn ln2)∑ₜSNR(t) 로 근사된다. 이때 최적 학습 파라미터 f⁺, f⁻는 패턴 희소도 p에 따라 달라지며, p∈(0.11, 0.89)에서는 f⁺=f⁻=1, 즉 매 단계마다 시냅스가 업데이트된다. 결과적으로 I_S=π ln2·p·q 로, 각 시냅스가 약 0.22 bit(희소도 0.5) 정도의 정보를 저장한다. (2) 초기 SNR이 매우 높은 경우, 최근 패턴이 ½ bit 이상 정보를 제공하면 완전한 1 bit를 부여한다는 가정 하에, I_S≈t_c/n·1 bit이 된다. 여기서 t_c는 SNR이 ½ bit에 해당하는 시간이며, 최적 학습 행렬은 f⁺≈e·p·√(q/n), f⁻≈e·p·√(p/n) 형태를 가진다. 이 경우 I_S≈0.075·√(p·q)·√n 로, 시냅스 수가 늘어날수록 정보당 효율이 ~ 1/√n 으로 감소한다.

다중 상태(W>2) 시냅스에 대해서는 전이 행렬을 대각선 근처(밴드 대각) 형태로 제한하고, 최적화 결과는 상태 수가 작을 때는 선형적으로 용량이 증가하지만, W가 √n 보다 크게 되면 포화한다는 점을 보인다. 특히, 밀집(p=0.5) 경우 최적 전이 행렬은 f=e·p·√(s/n) (s≈6.02) 로, 평형 분포는 양 끝에 집중되고 중간은 낮은 확률을 가진다. 이때 I_S≈(W⁻¹)·e·√(s·n) 로, W가 충분히 작을 때만 선형 증가가 유지된다.

실험적 시뮬레이션은 Gaussian 근사를 이용한 SNR‑I 변환식과 마크오프 전이 행렬을 직접 최적화한 결과가 일치함을 확인한다. 그림 1·2는 시냅스 수와 상태 수에 따른 정보/시냅스 비트를 시각화하며, 희소 패턴일수록 초기 몇 개의 시냅스가 큰 기여를 하지만, n이 커지면 정보는 n⁻¹/² 비율로 감소한다. 또한, 무한 가중치 모델과 비교했을 때, 이산 제한이 있더라도 최적 학습 규칙을 적용하면 비슷한 수준(≈0.1 bit/시냅스)의 저장 용량을 달성한다는 점을 강조한다.

결론적으로, 제한된 이산 시냅스는 학습 규칙을 최적화함으로써 초기 SNR을 크게 만들고, 기억 소멸 시간을 조절해 정보 저장 효율을 극대화할 수 있다. 그러나 시냅스 수가 충분히 많아지면 정보당 효율은 근본적으로 √n 스케일로 감소하므로, 생물학적 시스템은 적절한 시냅스 수와 상태 수, 그리고 희소 코딩 전략을 통해 효율적인 기억 저장을 구현하고 있을 것으로 추정된다.