초고속 인터커넥트에서의 네트워크 혼잡 연구

라우팅 알고리즘의 영향

[[IMG_PROTECT_3]] 그림에서 서로 다른 혼잡 링크 지속 시간의 양자값을 볼 수 있습니다. 즉, 링크에 대한 PTS 값이 고정된 임계값($`PTS_{th}`$)보다 높은 지속 시간입니다. 이 그림으로부터 다음과 같은 통찰력을 얻을 수 있습니다.

• 드래곤플라이 위상과 적응형 라우팅의 사용은 Cray 인터커넥트 두 세대 사이에서 혼잡 관리를 개선하였습니다. Aries에 사용되는 드래곤플라이 위상은 전역 지름이 1 hop으로 낮아, 혼잡 링크의 백 프레스를 제한하는 데 도움을 줍니다. 또한 적응형 라우팅은 패킷이 더 길지만 덜 혼잡한 경로를 취할 수 있게 하여 최소 경로에서 발생하는 혼잡을 완화합니다. [[IMG_PROTECT_3]]는 이러한 관찰에 대한 경험적 증거를 제공합니다. 모든 $`PTS_{th}`$ 임계값에 대해, Aries의 혼잡 링크 지속 시간은 Gemini보다 한 계수 적습니다. 예를 들어, 혼잡 임계치가 15% PTS로 고정되었을 때, 두 시스템 모두 중앙값이 거의 0에 가깝지만, 99.9 퍼센타일 지속 시간은 약 1분(Edison)이고, Blue Waters는 400분입니다. 그러나 Aries는 Gemini보다 긴 혼잡을 더 잘 관리하지만 네트워크 성능에 따른 애플리케이션 실행 시간의 변동성은 여전히 문제가 됩니다.

• 교통 측정을 통한 장시간 혼잡 감지가 랭크 재매핑이나 광대역 작업의 재스케줄링과 같은 개입을 가능하게 합니다. 두 시스템에서 $`PTS_{th} \le 20\%`$에 대한 99.9 퍼센타일 혼잡 링크 지속 시간은 1분 이상입니다. 이러한 장시간 혼잡은 실제 환경에서 감지 및 진단을 위한 더 큰 지연을 용인할 수 있게 합니다. 또한, 진단은 TopoMesh와 같은 도구에 의해 사용 가능한 피드백으로 변환될 수 있습니다. 이를 통해 MPI 랭크를 재매핑하거나 스케줄러가 광대역 작업을 다시 스케줄링하는 것이 가능합니다.

[[IMG_PROTECT_7]] [[IMG_PROTECT_11]]

링크 대역폭 이질성의 영향

다양한 링크 유형(전기 및 광학 링크) 간의 링크 대역폭 이질성은 혼잡에 대한 취약성을 증가시킵니다. [IMG_PROTECT_7], [IMG_PROTECT_7], [IMG_PROTECT_7]는 각각 Blue Waters에서 Cray Gemini 인터커넥트의 X, Y 및 Z 방향 링크에 대한 서로 다른 양자값에서 혼잡 링크 지속 시간을 보여줍니다. 그리고 [IMG_PROTECT_11], [IMG_PROTECT_11], [IMG_PROTECT_11]는 각각 Edison에서 Cray Aries 인터커넥트의 Green, Black 및 Blue 링크에 대한 서로 다른 양자값에서 혼잡 링크 지속 시간을 보여줍니다. Gemini에서는 $`\ge20\%`$ 이상의 더 높은 $`PTS_{th}`$ 임계값에서, X 방향의 링크가 Y, Z 방향 링크보다 더 오래 지속되는 혼잡을 보입니다. 마찬가지로 Aries에서는 광학 링크(Blue)가 전기 링크(Green과 Black)보다 더 짧고 덜 심각한 혼잡 폭발을 보입니다.