Purine 양방향 그래프 기반 딥러닝 프레임워크

초록

Purine은 딥러닝 모델을 연산자와 텐서로 구성된 이분 그래프(바이그래프) 형태로 표현하고, 이벤트‑드리븐 태스크 디스패처를 통해 그래프를 자동 스케줄링한다. 그래프에 “location”과 “thread” 속성을 부여함으로써 CPU·GPU, 단일·다중 머신 환경에서 모델·데이터 병렬화를 손쉽게 구현한다. 복사 연산자를 이용해 장치 간 데이터 이동을 그래프에 포함시키고, 디스패처가 복사와 계산을 겹치게 스케줄링함으로써 통신 오버헤드를 최소화한다. 실험에서는 GoogLeNet을 12개의 GPU에 걸쳐 9배 이상 가속시키며, 배치 크기가 작아도 거의 선형적인 속도 향상을 보였다.

상세 분석

Purine의 핵심 아이디어는 딥러닝 연산을 이분 그래프(bipartite graph)로 추상화하는 것이다. 그래프의 두 종류 정점은 텐서와 **연산자(operator)**이며, 텐서는 연산자의 입력·출력 역할을 하고 연산자는 텐서를 받아 계산 결과를 새로운 텐서에 저장한다. 이 구조는 방향성만 존재하고 텐서‑텐서 혹은 연산자‑연산자 간 직접 연결이 없기 때문에, 그래프는 자연스럽게 DAG(Directed Acyclic Graph) 형태를 띤다. 이러한 DAG는 기존의 데이터 플로우 모델(Caffe, Theano 등)과 유사하지만, Purine은 그래프 자체를 스케줄링 단위로 삼아 병렬 실행을 제어한다.

그래프 실행은 이벤트‑드리븐 태스크 디스패처에 의해 이루어진다. 각 연산자는 모든 입력 텐서가 ‘ready’ 상태가 될 때까지 대기하고, 준비가 되면 즉시 실행된다. 텐서는 자신을 소비하는 모든 연산자가 완료될 때 ‘ready’가 되므로, 디스패처는 자연스럽게 데이터 의존성을 respect하면서 동시에 가능한 연산을 병렬화한다. 이 방식은 별도의 전역 동기화 포인트 없이도 그래프 전체가 종료될 때까지 자동으로 동기화가 이루어지는 장점을 가진다.

반복적인 학습 과정을 지원하기 위해 Purine은 그래프 반복(iteration) 개념을 도입한다. 한 번의 학습 단계(예: SGD 한 스텝)를 하나의 그래프로 정의하고, 이 그래프를 여러 번 순차적으로 실행한다. 그래프 내부에서는 병렬 가능한 연산이 동시에 수행되지만, 그래프 간 경계에서는 자동으로 동기화가 발생한다. 이는 기존 DAG가 반복 구조를 표현하기 어려운 문제를 해결한다.

병렬화는 ‘location’ 속성으로 구현된다. 각 텐서·연산자는 (hostname, device‑id) 쌍을 통해 어느 머신·GPU·CPU에 배치될지를 명시한다. 또한 ‘thread’ 속성을 통해 동일 장치 내에서 멀티스레드 실행을 지정한다. 사용자는 이 속성을 조정함으로써 모델 병렬화(레이어를 서로 다른 장치에 분산)와 데이터 병렬화(같은 모델을 복제하고 서로 다른 데이터 배치를 처리)를 자유롭게 조합할 수 있다. 특히, 모델 병렬화 예시에서는 2‑layer 완전 연결 네트워크를 세 개의 서브그래프(A, B, C)로 나누고, 각 서브그래프를 순차적으로 실행하면서 동시에 복제본을 여러 번 실행해 장치 활용률을 높인다.

다중 장치 간 데이터 이동은 Copy 연산자로 모델링된다. 복사 연산자는 일반 연산자와 동일하게 스케줄링되며, 복사와 계산을 서로 다른 스레드에 할당함으로써 통신과 연산을 겹치게(overlap) 할 수 있다. 다중 머신 환경에서는 각 머신에 독립적인 디스패처가 존재하고, 복사 연산자는 한 머신에서는 sink, 다른 머신에서는 source 역할을 하여 전역 스케줄러 없이도 전체 그래프가 올바르게 진행된다.

실험에서는 GoogLeNet을 대상으로 1~12개의 GPU에서 데이터 병렬화를 수행했다. 배치당 128개의 이미지(각 GPU당)로 실험했으며, 10 GbE 네트워크를 통해 머신 간 GPU 데이터를 CPU 메모리 경유로 전송했다. 그럼에도 불구하고 통신‑연산 겹침 덕분에 처리량이 거의 선형적으로 증가했으며, 12 GPU에서는 초당 1383 이미지를 처리해 12배에 가까운 가속을 달성했다. 배치 크기를 32까지 줄여도 9.5배 가속을 유지하는 등, 작은 배치에서도 효율적인 스케줄링이 가능함을 보였다. 프로파일링 결과는 첫 번째 레이어의 메모리 복사만이 전체 지연의 병목이었으며, 이후 레이어에서는 복사가 완전히 연산에 가려졌다.

Purine은 프레임워크 수준에서 병렬화 전략을 그래프 구성만으로 전환할 수 있게 함으로써, 연구자가 새로운 하드웨어 토폴로지나 병렬화 방식을 구현할 때 코드 수정 부담을 크게 줄인다. 또한, 기존 Caffe의 연산 구현을 재사용하면서도 다중 GPU·CPU·다중 머신 환경을 일관된 인터페이스로 지원한다는 점에서 실용성이 높다. 다만, 현재 구현은 GPU 간 직접 P2P 전송을 지원하지 않으며, 모든 복사는 CPU 메모리를 거쳐야 하기 때문에 매우 높은 대역폭 네트워크가 없을 경우 성능 한계가 존재한다. 향후 GPU‑direct 통신과 자동 그래프 최적화가 추가된다면 더욱 높은 확장성을 기대할 수 있다.