GF11 SIMD 병렬 컴퓨터에서 구현한 역전파 학습

초록

본 논문은 566개의 프로세서를 갖춘 IBM GF11 SIMD 슈퍼컴퓨터에 백프로파게이션 학습을 효율적으로 구현한 방법을 제시한다. 356개의 프로세서만 사용했을 때도 초당 9억 개 연결을 처리했으며, 전체 프로세서를 활용하면 10억 개를 초과할 것으로 예측한다. 구현 세부와 성능 모델링을 통해 GF11이 대규모 신경망 시뮬레이션에 적합함을 입증한다.

상세 분석

이 연구는 1990년대 초반 대규모 연결주의 시뮬레이션이 요구하는 연산량을 감당하기 위해, 당시 가장 앞선 SIMD 기계인 IBM GF11을 활용한 백프로파게이션 구현을 시도한 점에서 의미가 크다. GF11은 566개의 단순 연산 유닛을 2차원 배열 형태로 연결하고, 전용 고속 버스와 공유 메모리 구조를 제공한다. 논문은 먼저 신경망 연산을 “연결 단위”로 분해하여, 각 프로세서가 일정 수의 연결을 담당하도록 매핑한다. 이렇게 하면 전방 전파와 역방향 전파가 동일한 데이터 흐름을 공유하므로 메모리 접근 패턴이 일관되고, SIMD 특성인 동시 연산을 최대한 활용할 수 있다.

특히, 가중치 업데이트 단계에서 발생하는 전역 합산(gradient accumulation) 문제를 해결하기 위해, 각 프로세서가 로컬 부분합을 계산한 뒤 트리형 축소(reduction) 연산을 수행하도록 설계하였다. 이 과정에서 파이프라인화와 비동기 통신을 도입해, 연산과 통신이 겹치도록 함으로써 대기 시간을 최소화한다. 또한, 네트워크의 레이어별 크기와 연결 밀도에 따라 작업 부하를 동적으로 재분배하는 로드 밸런싱 기법을 적용해, 일부 프로세서가 과부하되는 현상을 방지한다.

성능 측정에서는 NetTalk 텍스트‑투‑스피치 벤치마크를 사용했으며, 356개의 프로세서가 가동된 상태에서 초당 9억 0백만 연결(전·후방 패스 포함)을 달성했다. 이는 기존 벡터 프로세서 기반 구현보다 3~4배 빠른 수치이며, 전체 566개의 프로세서를 활용하면 1.0 × 10⁹ 연결/초를 초과할 것으로 예측한다. 논문은 또한 이론적 성능 모델을 구축해, 연산량(O), 메모리 대역폭(B), 통신 비용(C) 사이의 관계를 정량화하였다. 모델에 따르면, 연산 집약도가 높은 깊은 네트워크일수록 SIMD 효율이 상승하고, 메모리 접근 패턴을 최적화하면 통신 비용이 전체 실행 시간의 10% 이하로 감소한다는 결과를 얻었다.

핵심 인사이트는 다음과 같다. 첫째, SIMD 기계는 대규모 연결을 “연결 단위”로 분할해 병렬화하면 높은 효율을 얻을 수 있다. 둘째, 가중치 누적과 같은 전역 연산은 트리형 축소와 파이프라인 통신으로 숨길 수 있다. 셋째, 작업 부하의 동적 재분배는 프로세서 간 불균형을 최소화해 전체 스루풋을 극대화한다. 마지막으로, 메모리 대역폭과 통신 구조가 설계 초기부터 고려되어야 하며, 이는 현재와 같은 대규모 신경망 시뮬레이션에서 GPU와 비교해도 경쟁력을 유지할 수 있는 핵심 요소이다.