플레이스투: 분산 학습을 위한 범용 장치 배치 강화학습 알고리즘

**1. 연구 배경 및 문제 정의** 딥러닝 모델이 커지고 복잡해짐에 따라 단일 GPU에 모두 탑재하기 어려워졌으며, 여러 GPU·CPU·TPU 등 이기종 디바이스에 모델을 분산시켜 학습하는 것이 일반화되었다. 이때 핵심 과제는 각 연산(op)을 어느 디바이스에 배치할지 결정하는 ‘장치 배치’ 문제이다. 기존 연구는 강화학습(RL) 기반으로 각 모델에 대해 별도로 정책을 학습했지만, 매번 수십 시간의 학습이 필요해 실무 적용에 큰 제약이 있었다. 특히, 학습된 정책이 특정 그래프에만 최적화돼 새로운 모델이나 변형된 그래프에 재사용할 수 없었다. **2. 플레이스투(Placeto)의 핵심 아이디어** 플레이스투는 두 가지 혁신적인 설계를 제안한다. - **Iterative Placement Improvement**: 정책이 현재 전체 배치를 입력으로 받아 하나의 노드에 대한 장치 선택만 수행한다. 이를 반복해 전체 배치를 점진적으로 개선한다. 이 방식은 “한 번에 전체 배치를 예측”하는 RNN 기반 접근보다 학습 난이도가 낮고, 단계별 보상을 통해 신호 전달이 원활해진다. - **Graph Embedding 기반 정책 네트워크**: 계산 그래프를 DAG(Directed Acyclic Graph) 형태로 보고, 각 노드에 연산 시간, 출력 텐서 크기, 현재 배치, 방문 플래그 등 5가지 특징을 부여한다. 이후 두 방향(위‑아래) 메시지 패싱을 수행해 부모·자식·병렬 관계를 각각 요약하고, 이를 풀링해 최종 노드 임베딩을 만든다. 이 임베딩을 입력으로 정책 네트워크가 장치 선택 확률을 출력한다. **3. MDP 설계** - **State**: 그래프 구조와 위의 5가지 노드 특징, 현재 ‘활성’ 노드 표시. - **Action**: 현재 노드에 할당할 디바이스 선택(예: GPU1, GPU2). - **Transition**: 선택 후 해당 노드를 ‘방문’ 처리하고, 아직 방문하지 않은 노드 중 하나를 새로운 활성 노드로 지정. - **Reward**: 두 가지 방식 중 선택 가능. (1) 에피소드 종료 시 전체 실행 시간의 음수, (2) 각 단계에서 실행 시간 차이(중간 보상). 메모리 초과 시 페널티를 부여한다. **4. 학습 방법** 표준 정책 그라디언트(PG)와 타임스텝 기반 베이스라인을 사용해 파라미터를 업데이트한다. 그래프 임베딩과 정책 네트워크는 동일 파라미터를 공유하므로, 서로 다른 크기·구조의 그래프에서도 동일 모델을 재사용한다. **5. 실험 설정** - **대상 모델**: Inception‑V3, NMT(LSTM 기반), NASNet. - **합성 데이터셋**: cifar10, ptb, nmt(각 32개 그래프, 128~160 노드). - **비교 대상**: 기존 RNN 기반 RL( Mirhoseini et al.), 계층적 모델, 전통적 그래프 파티셔닝(Scotch). **6. 주요 결과** - **학습 효율**: 플레이스투는 동일 성능을 달성하는 데 최대 6.1배 적은 배치 평가(에피소드) 수 필요. - **성능 향상**: NMT 모델에서 16.5% 빠른 실행, Inception‑V3와 NASNet에서도 5~12% 정도 속도 개선. - **일반화**: 동일 패밀리(예: NMT 변형) 내 새로운 그래프에 대해 재학습 없이 바로 적용 가능, 기존 방법은 매번 12~27시간 재학습 필요. - **비교**: Paliwal 등(2020)의 그래프 임베딩+유전 알고리즘 방식은 수천 번의 탐색 필요하지만, 플레이스투는 직접 배치 최적화를 수행해 훨씬 적은 비용으로 유사하거나 더 나은 결과를 얻음. **7. 논의 및 향후 연구** 플레이스투는 그래프 구조를 효과적으로 인코딩하고, 단계적 개선을 통해 정책 학습을 단순화함으로써 ‘범용’ 배치 정책을 가능하게 했다. 향후 연구에서는 (1) 에너지·비용·전력 등 다중 목표 최적화, (2) 이기종 디바이스(CPU, GPU, TPU, FPGA)와 동적 클러스터 환경에 대한 적응, (3) 온라인 학습을 통한 실시간 배치 조정, (4) 더 큰 규모의 모델(예: GPT‑3 수준) 및 자동 머신러닝 파이프라인과의 통합 등을 탐색할 수 있다. **8. 결론** 플레이스투는 그래프 임베딩 기반 RL을 통해 장치 배치 문제를 일반화 가능한 형태로 재정의하고, 기존 방법 대비 학습 효율과 실행 성능 모두에서 현저한 개선을 달성했다. 이는 분산 딥러닝 시스템 설계에서 자동화와 효율성을 동시에 추구하는 연구자와 엔지니어에게 중요한 진전이다.