인네트워크 집합 연산 AI 워크로드의 게임 체인저

초록

본 논문은 인네트워크 집합 연산(In‑Network Collective, INC)이 대규모 AI 모델 학습·추론에 미치는 잠재적 이점과 구현 방식(Edge‑INC와 Core‑INC)을 소개하고, 두 접근법별 6가지 주요 장애물을 제시한다. 또한 향후 기술 발전과 적용 시나리오에 대한 예측을 제공한다.

상세 분석

INC는 기존 GPU·CPU 기반 집합 통신에서 발생하는 메모리 접근 지연과 네트워크 대역폭 병목을 네트워크 계층에서 직접 처리함으로써 지연을 크게 낮추고 대역폭 효율을 높인다. Edge‑INC는 각 노드의 네트워크 인터페이스(NI)에서 집합 연산을 오프로드해 데이터가 DRAM에 기록·읽기 되는 과정을 생략한다. 이는 특히 대규모 Allreduce, Reduce_scatter와 같은 연산에서 메모리 트래픽을 2배 이상 절감하고, 통신‑연산 겹침을 가능하게 한다. Core‑INC는 스위치 자체에 간단한 연산(예: 합산)을 삽입해, 데이터가 네트워크 코어를 통과하면서 이미 축소된 형태로 전달되도록 한다. 이 경우 전체 전송량이 절반 수준으로 감소하고, 멀티‑홉 라우팅 시 발생하는 중복 전송을 방지한다. 두 방식 모두 장점이 상보적이며, 혼합 적용 시 최적의 성능 향상이 기대된다.

하지만 실용화에는 여섯 가지 핵심 장애물이 존재한다. 첫째, 저정밀 데이터 타입(4‑bit, 8‑bit) 사용 시 오버플로·언더플로와 누적 오차가 발생해 수치 안정성을 보장하기 어렵다. 둘째, 스위치 내부 연산 자원의 제한으로 복잡한 집합 연산(특히 Alltoall) 구현이 어려워 기존 소프트웨어 스택과의 호환성이 낮다. 셋째, 네트워크 장애 시 상태 복구 메커니즘이 미비해 스위치 장애가 전체 집합 연산을 중단시킬 위험이 있다. 넷째, 프로그래머가 직접 INC를 활용하려면 새로운 API와 컴파일러 지원이 필요해 개발 비용이 상승한다. 다섯째, 보안·프라이버시 관점에서 네트워크 내부에서 데이터가 중간 처리되는 것이 데이터 유출 위험을 증대시킬 수 있다. 여섯째, 현재 상용 스위치의 펌웨어 업데이트 주기가 길어 빠른 기능 도입이 제한된다.

이러한 장애물을 극복하기 위해 논문은 저정밀 연산을 위한 동적 스케일링, 스위치‑레벨 체크포인팅, 표준화된 INC API 정의, 그리고 하드웨어‑소프트웨어 공동 설계 방안을 제시한다. 또한, 향후 5년 내에 AI 전용 가속 스위치와 고성능 NIC가 보편화되면서 INC가 대규모 분산 학습의 기본 인프라가 될 가능성을 예측한다.