재활용 엔트로피 패킷 스프레이 기반 초고속 적응형 로드밸런싱

초록

REPS는 엔트로피 값(EV)을 캐시하는 원형 버퍼와 장애 감지를 위한 “프리징 모드”를 결합해, 패킷 단위 적응형 스프레이를 구현한다. 25바이트 이하의 연결 상태만 유지하면서 100 µs 이내에 링크 장애를 회피하고, 대규모 시뮬레이션 및 FPGA 기반 NIC 실험에서 ECMP와 OPS 대비 5‑6배 높은 활용률을 달성한다.

상세 분석

본 논문은 대규모 AI 학습 클러스터가 직면한 두 가지 핵심 문제—트래픽 폭증에 따른 포화와 급격한 링크 장애—를 짚고, 기존 ECMP와 OPS가 각각 해시 충돌과 장애 인식 부재로 한계가 있음을 지적한다. REPS는 이러한 한계를 극복하기 위해 세 가지 핵심 메커니즘을 제시한다. 첫째, 송신 엔드포인트가 ACK에 포함된 EV를 활용해 “좋은” 경로를 식별하고, 이를 8‑엔트리 원형 버퍼에 저장한다. 버퍼에 유효한 EV가 존재하면 가장 오래된 엔트로피를 재사용해 패킷을 전송함으로써, 무작위 스프레이(OPS)와 달리 이미 검증된 저혼잡 경로를 지속적으로 활용한다. 둘째, ECN 마크가 감지되면 해당 EV를 버퍼에서 제외하고, 새로운 무작위 EV를 탐색함으로써 실시간 혼잡 회피를 구현한다. 셋째, 장애 감지를 위한 “프리징 모드”를 도입한다. 일정 시간 동안 ECN 마크가 지속되거나 ACK 손실이 감지되면, REPS는 버퍼가 비어 있더라도 새로운 EV를 선택하지 않고, 기존에 확인된 안전 경로만 사용하도록 고정한다. 이 과정은 10 ms 이하의 라우팅 업데이트 지연에도 불구하고 0.5 GB 규모의 패킷 손실을 방지한다. 구현 측면에서는 스위치에 ECMP 해시와 ECN만 필요하므로 기존 데이터센터 인프라와 완벽히 호환되며, 연결당 25 바이트 미만의 상태만 유지하므로 NIC 펌웨어나 FPGA에 쉽게 탑재될 수 있다. 평가에서는 대규모 Fat‑Tree와 Jellyfish 토폴로지를 대상으로 1 Tbps 수준의 트래픽을 시뮬레이션했으며, 대칭 네트워크에서 ECMP 대비 최대 6배, OPS 대비 1.25배, 비대칭 네트워크에서 최대 5배·2배의 성능 향상을 기록했다. 특히 짧은 기간(수 ms) 동안 발생하는 링크 플랩 상황에서는 OPS보다 100배 이상의 복구 속도를 보였다. 이러한 결과는 REPS가 고성능 RDMA·Ultra Ethernet 환경에서 실시간 적응형 로드밸런싱과 장애 복구를 동시에 제공할 수 있음을 입증한다. 다만, EV 공간(예: 16‑bit 포트 번호) 제한에 따라 매우 큰 토폴로지에서는 충분한 엔트로피 다양성을 확보하기 위한 추가 헤더 확장이 필요할 수 있다. 또한, ECN 기반 혼잡 감지에 의존하므로 ECN 마킹이 비활성화된 스위치 환경에서는 성능 저하가 예상된다. 전반적으로 REPS는 메모리·하드웨어 비용을 최소화하면서도 데이터센터 수준의 대규모 트래픽과 빈번한 장애에 대응할 수 있는 실용적인 솔루션으로 평가된다.