지수형 장거리와 가우시안 단거리 연결이 신경망 분산 시뮬레이션에 미치는 영향

초록

본 연구는 거리 의존적 지수 감쇠와 가우시안 감쇠 두 가지 연결 모델이 대규모 분산 스파이킹 신경망 시뮬레이터(DPSNN)의 확장성 및 메모리 사용에 미치는 영향을 비교한다. 2차원 피질 컬럼 격자를 30 억 시냅스까지 연결하고, 64노드(총 1024코어) IBM 클러스터에서 MPI 기반 시뮬레이션을 수행하였다. 결과는 지수형 장거리 연결이 통신 부하와 메모리 요구량을 크게 증가시키지만, 적절한 파티셔닝과 네트워크 최적화로 실용적인 확장성을 유지할 수 있음을 보여준다.

상세 분석

이 논문은 최근 실험 신경과학에서 제시된 장거리 내피질 연결의 중요성을 수학적으로 모델링하기 위해 두 가지 확률 분포를 채택한다. 첫 번째는 거리 d에 대해 P(d)∝exp(−d/λ) 형태의 지수 감쇠이며, λ는 연결 범위 파라미터이다. 두 번째는 P(d)∝exp(−d²/2σ²) 형태의 가우시안 감쇠로, σ가 작을수록 연결이 국소화된다. 두 모델 모두 포인트 스파이킹 뉴런을 2 mm×2 mm 격자에 배치하고, 각 뉴런당 평균 10 000개의 시냅스를 생성하도록 설계되었다.

시뮬레이터는 MPI 기반의 분산 아키텍처(DPSNN)를 사용했으며, 각 코어는 독립적인 뉴런 집합과 그에 연결된 시냅스를 담당한다. 지수형 연결은 장거리 시냅스가 많아져 통신 패턴이 전역적으로 확산되며, 이는 메시지 전송 횟수와 데이터 양을 급격히 증가시킨다. 반면 가우시안 연결은 대부분의 시냅스가 인접 코어에 머물러 통신 오버헤드가 제한적이다.

실험에서는 64노드(총 1024코어) IBM NX360 M5 클러스터를 이용해 시뮬레이션을 수행했으며, 각 노드는 두 개의 8코어 Xeon Haswell 프로세서와 2.40 GHz 클럭, InfiniBand 인터커넥트를 갖추었다. 메모리 사용량은 시냅스당 12 바이트(프리시전, 주소, 가중치)를 기준으로 계산했으며, 지수형 연결에서는 평균 1.8 GB/코어, 가우시안 연결에서는 1.2 GB/코어 정도의 메모리가 필요했다.

확장성 측면에서, 가우시안 모델은 코어 수가 증가함에 따라 시뮬레이션 시간의 감소 비율이 거의 이상적인 선형에 가까웠다. 반면 지수형 모델은 코어 수가 512를 초과할 때부터 통신 병목이 나타나며, 1024코어에서는 약 30 % 정도의 효율 저하가 관찰되었다. 이는 장거리 시냅스가 여러 노드에 걸쳐 분산되면서 라운드 트립 지연과 네트워크 포화 현상이 발생하기 때문이다.

또한, 시뮬레이션 정확도와 생물학적 타당성 측면에서 두 모델은 차이를 보였다. 지수형 연결은 실제 피질에서 보고된 장거리 연결 비율을 재현했으며, 네트워크 활동 패턴이 더 복잡하고 장기 상관성을 나타냈다. 가우시안 연결은 국소 회로 동역학에 초점을 맞추어 빠른 동기화와 짧은 시간 지연을 특징으로 했다.

결론적으로, 장거리 지수형 연결은 메모리와 통신 비용을 크게 증가시키지만, 대규모 뇌 모델링에 필수적인 구조적 현실성을 제공한다. 효율적인 파티셔닝 전략과 고성능 네트워크(예: 최신 InfiniBand HDR) 도입으로 이러한 비용을 완화할 수 있다.