10억 시냅스 규모 스파이킹 신경망 시뮬레이션, 1024 코어까지 확장 성공

초록

본 보고서는 플라스틱 스파이킹 신경망 시뮬레이터(DPSNN)의 확장성을 1 ~ 1024 MPI 프로세스·하드웨어 코어까지 평가한다. 2차원 피질 컬럼 격자를 11 백만 뉴런·약 20 억 시냅스로 구성해 최대 64개의 듀얼소켓(총 128 코어) 노드에서 실행했으며, 강한 스케일링과 약한 스케일링 모두에서 높은 효율을 보였다. 결과는 향후 HBP 프로젝트와 NEST와의 비교 연구에 기반을 제공한다.

상세 요약

이 연구는 대규모 플라스틱 스파이킹 신경망 시뮬레이션을 위한 분산 메모리 구조와 통신 전략을 정밀히 검증한다. 시뮬레이터는 MPI 기반으로 각 프로세스가 담당하는 피질 컬럼 블록을 할당받아, 뉴런의 전위와 시냅스 가중치를 로컬 메모리에 보관한다. 스파이크 전파는 시간 단계마다 발생하며, 발생한 스파이크는 인접 블록에 속한 뉴런에게 전달하기 위해 비동기 MPI_Isend/Recv와 집합 통신(Allgather) 방식을 혼합한다. 이때 InfiniBand의 RDMA 기능을 활용해 전송 지연을 최소화하고, 패킷 크기를 최적화해 네트워크 포화 현상을 억제한다.

강한 스케일링 실험에서는 전체 11 M 뉴런·20 G 시냅스 모델을 고정하고 프로세스 수를 1 → 1024로 증가시켰다. 128 코어까지는 거의 선형에 가까운 속도 향상을 보였으며, 256 코어 이후부터는 통신 오버헤드와 메모리 대역폭 제한으로 효율이 70 % 수준으로 감소한다. 약한 스케일링에서는 프로세스당 뉴런·시냅스 수를 일정하게 유지하면서 전체 문제 크기를 1 → 1024배 확대했다. 이 경우 평균 통신량이 일정하게 유지돼 1024 코어에서도 85 % 이상의 효율을 달성했다.

메모리 측면에서는 각 코어당 약 2 GB의 RAM을 사용했으며, 시냅스 데이터 구조를 압축 저장해 전체 메모리 요구량을 150 GB 이하로 제한했다. 부하 균형은 컬럼 블록을 정규 격자 형태로 분할함으로써 자연스럽게 이루어졌고, 동적 플라스틱성(시냅스 가중치 변화)에도 불구하고 재분배가 필요 없는 설계가 장점으로 작용했다.

결과적으로 DPSNN은 20 억 시냅스 규모의 신경망을 1024 코어에서 실시간에 가까운 속도로 시뮬레이션할 수 있음을 입증했으며, 이는 기존 NEST와 같은 툴 대비 높은 확장성을 시사한다. 향후 연구에서는 더 큰 시냅스 수(수십 억)와 GPU 가속을 결합한 하이브리드 아키텍처, 그리고 실제 인간 피질 모델에 대한 적용 가능성을 탐색할 예정이다.