희소·밀집 인코딩이 층형 연관 신경망의 동기 발화에 미치는 영향

초록

시냅스 연쇄(synfire chain)는 안정적인 동기 스파이크인 펄스 패킷을 전파할 수 있는 단순 신경망 모델로 널리 연구되어 왔다. 그러나 여러 개의 시냅스 연쇄가 하나의 네트워크 내에서 어떻게 공존하는지는 아직 명확히 밝혀지지 않았다. 본 연구에서는 Hebbian 학습을 통해 기억 패턴을 삽입한 LIF(Leaky Integrate‑and‑Fire) 뉴런으로 구성된 층형 연관 신경망의 활동을 Fokker‑Planck 방정식을 이용해 분석하였다. 이전 연구에서는 기억 패턴에 속하는 뉴런 비율 F = 0.5일 때, 특정 입력 조건 하에서 네트워크 활동의 시간적 프로파일이 서브라티스라 불리는 군집으로 분리되는 현상을 보고하였다. 이번 연구에서는 네트워크가 희소하게 연결될수록(F < 0.5) 기억 패턴의 동기 발화가 촉진되고, 반대로 밀집하게 연결될수록(F > 0.5) 동기 발화가 억제됨을 확인하였다. 또한 희소·밀집 연결은 각각 기억 패턴의 수용 영역(basin of attraction)과 저장 용량(storage capacity)에 상반된 영향을 미친다. 구체적으로, 희소 연결은 수용 영역을 확대하고 저장 용량을 증가시키는 반면, 밀집 연결은 수용 영역을 축소하고 저장 용량을 감소시킨다.

상세 요약

시냅스 연쇄는 입력 신호가 여러 층을 거치면서 동기화된 스파이크 군집, 즉 펄스 패킷으로 변환되는 메커니즘을 제공한다. 이러한 구조는 뇌의 빠른 정보 전송과 순차적 기억 재생에 핵심적인 역할을 할 것으로 추정된다. 본 논문은 기존의 단일 패턴, 즉 F = 0.5(절반의 뉴런이 특정 패턴에 할당) 상황을 넘어, 패턴당 뉴런 비율 F을 조절함으로써 네트워크의 ‘희소성(sparsity)’과 ‘밀집성(density)’이 동기 발화와 기억 저장에 미치는 영향을 체계적으로 탐구하였다.

먼저, LIF 뉴런을 사용한 층형 연관 신경망을 구성하고, Hebbian 학습 규칙에 따라 시냅스 가중치를 설정하였다. 여기서 기억 패턴은 각 뉴런이 특정 패턴에 속하는지 여부를 0·1 이진값으로 표현하고, 전체 패턴 집합은 상호 독립적이면서도 일정한 평균 활성 비율 F을 갖는다. F가 0.5보다 작을 경우, 즉 희소 연결에서는 각 패턴에 할당된 뉴런 수가 적어 개별 뉴런이 담당하는 정보량이 증가한다. 반면 F가 0.5보다 크면(밀집 연결) 많은 뉴런이 동일 패턴에 포함되어, 개별 뉴런의 기여도가 상대적으로 감소한다.

Fokker‑Planck 방정식을 이용한 연속적 확률밀도 접근법은 대규모 네트워크의 평균 전압 및 스파이크 확률을 정확히 기술한다. 이 방법을 통해 각 층에서의 전압 분포와 스파이크 타이밍을 계산하고, 특히 ‘서브라티스(sub‑lattice)’라 불리는 시간적으로 군집된 뉴런 집단이 어떻게 형성되는지를 정량화하였다. 결과는 다음과 같다.

1. 희소 연결(F < 0.5) – 패턴당 뉴런 수가 적어, 동일 패턴에 속한 뉴런들이 거의 동시에 도달 전압 임계값에 도달한다. 이는 전압 분포의 분산이 감소하고, 펄스 패킷의 폭이 좁아지는 효과를 만든다. 따라서 동기 발화가 강화되어, 입력 펄스가 다음 층으로 전달될 때 손실이 적고, 전파 속도가 일정하게 유지된다. 또한, 서브라티스가 명확히 구분되며, 각 서브라티스 간 간격이 커져서 서로 간의 간섭이 최소화된다.

2. 밀집 연결(F > 0.5) – 많은 뉴런이 동일 패턴에 포함되면서 전압 분포가 넓어지고, 일부 뉴런은 과도하게 억제되거나 비동기적으로 발화한다. 결과적으로 펄스 패킷이 확산되고, 동기화 정도가 감소한다. 서브라티스 간 겹침이 발생해, 서로 다른 패턴의 신호가 혼재하게 되며, 이는 전파 오류와 기억 회수 실패율을 높인다.

3. 수용 영역과 저장 용량 – 수용 영역은 초기 입력이 어느 정도 변형되더라도 원래 패턴으로 수렴할 수 있는 범위를 의미한다. 희소 네트워크에서는 동기화가 강해 입력 변동에 대한 복원력이 커지므로 수용 영역이 확대된다. 동시에, 각 뉴런이 담당하는 정보량이 커지면서 전체 네트워크가 저장할 수 있는 패턴 수(저장 용량)도 증가한다. 반대로, 밀집 네트워크는 동기화가 약해 수용 영역이 축소되고, 과도한 중복 연결로 인해 상호 간섭이 심해 저장 용량이 감소한다.

이러한 결과는 뇌의 실제 회로가 기억 저장을 위해 어느 정도의 희소성을 유지하는 것이 효율적임을 시사한다. 특히, 해마와 같은 고차원 연관 기억 영역에서 관찰되는 희소 활성 패턴은 동기 전파와 높은 저장 효율을 동시에 달성하기 위한 최적화된 설계일 가능성이 있다. 또한, 인공 신경망에서 메모리 효율을 높이고, 시퀀스 전파의 안정성을 확보하기 위해서는 가중치 초기화와 연결 밀도를 조절해 희소성을 도입하는 것이 유용할 것이다.