TensorFlow gRPC 성능을 위한 마이크로‑벤치마크 설계와 실험

초록

본 논문은 TensorFlow가 내부 통신에 활용하는 gRPC의 특성을 분석하고, 이를 기반으로 네트워크와 런타임 영향을 빠르게 평가할 수 있는 TF‑gRPC‑Bench 마이크로‑벤치마크 세트를 제안한다. 이 세트는 세 가지 워크로드를 포함하며, Ethernet, IPoIB, RDMA 등 다양한 클러스터 환경에서 gRPC 성능을 정량화한다. 실험 결과는 네트워크 종류와 설정이 텐서 전송 지연 및 전체 학습 시간에 미치는 영향을 명확히 보여준다.

상세 분석

TensorFlow는 학습 단계에서 매 iteration마다 수백 메가바이트에 달하는 텐서를 파라미터 서버와 워커 간에 교환한다. 이러한 대용량 데이터 이동은 전통적인 RPC 메커니즘보다 고성능 네트워크 스택과 효율적인 직렬화/역직렬화가 필수적이다. 논문은 먼저 ResNet‑50, Inception‑v3, BERT 등 대표적인 모델을 실제 클러스터에서 실행해 gRPC 호출 패턴을 프로파일링한다. 분석 결과는 (1) 대부분의 호출이 일방향 스트리밍 형태이며, (2) 메시지 크기가 1 KB에서 10 MB까지 폭넓게 분포하고, (3) 호출 빈도가 초당 수천 회에 달한다는 점을 밝혀냈다. 이러한 특성을 반영해 저자는 세 가지 마이크로‑벤치마크를 설계하였다. 첫 번째는 “Unary‑Latency”로 단일 요청‑응답 지연을 측정해 기본 RPC 오버헤드를 파악한다. 두 번째는 “Streaming‑Throughput”으로 대용량 텐서를 연속 스트리밍 전송하면서 네트워크 대역폭 활용 효율을 평가한다. 세 번째는 “Burst‑Concurrency”로 동시에 다수의 스트리밍 채널을 열어 gRPC 스케줄러와 커넥션 풀의 확장성을 테스트한다. 각 벤치마크는 TensorFlow가 실제 사용 시 발생시키는 메시지 크기와 전송 패턴을 파라미터화할 수 있도록 설계돼, 연구자가 특정 워크로드에 맞는 시나리오를 손쉽게 재현한다. 실험에서는 동일한 하드웨어 사양의 클러스터를 Ethernet(10 GbE), IPoIB(40 Gbps), 그리고 RoCEv2 기반 RDMA 환경에 배치하고, 각 환경에서 위 세 벤치마크를 실행했다. 결과는 RDMA가 특히 Streaming‑Throughput에서 3배 이상 높은 처리량을 보이며, Burst‑Concurrency에서는 연결 관리 오버헤드가 크게 감소함을 보여준다. 반면 IPoIB는 레이턴시가 낮지만 대역폭 활용 면에서 Ethernet에 비해 미미한 차이를 보였다. 이러한 정량적 데이터는 TensorFlow 클러스터 설계 시 네트워크 선택과 gRPC 튜닝(예: 메시지 압축, 흐름 제어 파라미터) 의사결정에 직접 활용될 수 있다.