수천 개 GPU로 대규모 스파이킹 신경망 구축하기

초록

MPI를 활용한 새로운 네트워크 구성 방법으로 대규모 스파이킹 신경망 시뮬레이션의 효율성을 높였다. 각 GPU 프로세스가 로컬 연결성을 독립적으로 구축하고, 스파이크 교환을 위한 데이터 구조를 준비하여 통신 및 메모리 관리를 최적화한다. 포인트투포인트 및 집합 통신을 이용한 두 가지 피질 모델에서 확장 성능을 입증했다.

상세 분석

본 논문은 차세대 엑사스케일 슈퍼컴퓨팅 환경에서 대규모 스파이킹 신경망(SNN) 시뮬레이션을 위한 획기적인 네트워크 구성 방법론을 제시한다. 핵심 기여는 시뮬레이션의 주요 병목 현상인 ‘네트워크 구성’ 단계를 GPU 메모리 내에서 직접 수행하는 온보드 알고리즘 도입에 있다. 기존 오프보드 방식(CPU에서 구성 후 GPU로 전송) 대비 10배 이상의 속도 향상을 달성하며, 특히 로컬 연결 생성은 20배, 원격 연결 생성은 9배 빠르다. 이는 MPI 프로세스 간 통신 없이 각 노드가 독립적으로 로컬 연결성을 구축하고, 원격 연결을 위한 ‘프록시 뉴런’ 개념과 효율적인 통신 맵 데이터 구조를 활용함으로써 가능해졌다.

통신 최적화 측면에서 이중 전략을 제안한다. 첫째, 복잡한 위계적 구조와 불균일한 활동을 보이는 다중 영역 모델(MAM)에는 포인트투포인트 통신을 적용하여 이기종 통신 패턴을 효율적으로 처리한다. 둘째, 균형 잡힌 무작위 네트워크에는 부하가 고르게 분산되고 통신 패턴이 동질적인 경우에 유리한 집합(collective) 통신을 적용한다. 이는 문제의 특성에 맞춰 통신 패러다임을 유연하게 선택할 수 있는 설계의 유연성을 보여준다.

확장성 예측은 매우 인상적이다. 제안된 방법론과 데이터 구조를 바탕으로, JUPITER 엑사스케일 컴퓨터에서 2×10^10개의 뉴런과 10^14개의 시냅스를 갖는 네트워크 시뮬레이션이 가능할 것으로 전망한다. 이는 완전한 뇌 규모 시뮬레이션으로 가는 중요한 이정표가 될 수 있다. 요약하면, 이 연구는 GPU 가속 SNN 시뮬레이션 분야에서 메모리 효율성, 통신 오버헤드 감소, 그리고 확장성이라는 세 가지 주요 과제를 종합적으로 해결한 실용적인 진전을 의미한다.