고성능 통신 라이브러리 pMR MPI 대체로 2배 가속

초록

pMR은 RDMA 기반의 경량 통신 라이브러리로, MPI와 거의 동일한 API를 제공하면서 불필요한 오버헤드를 제거한다. 인텔 Xeon Phi(KNC)와 InfiniBand 환경에서 DD‑α AMG의 coarse‑grid 솔버에 적용했을 때, 통신 시간은 2배 빨라졌으며 전체 실행 시간은 최대 20 % 단축되었다.

상세 분석

pMR은 “pico Message Passing for RDMA”의 약자로, InfiniBand FDR 네트워크의 RDMA 기능을 직접 활용하도록 설계되었다. 기존 MPI 구현은 다중 스레드와 복잡한 폴리모피즘 구조를 사용해 컨텍스트 전환과 vtable 탐색 등으로 지연 시간을 증가시키는 반면, pMR은 C++11 기반이지만 폴리모피즘을 전혀 사용하지 않으며 내부 스레드를 생성하지 않는다. 이러한 설계는 하드웨어 리소스를 한 번 초기화한 뒤 지속적으로 재사용하는 ‘persistent communication’ 모델에 최적화되어 있다.

라이브러리는 SendWindow와 RecvWindow라는 두 개의 핸들을 통해 버퍼를 미리 등록하고, init‑post‑wait 순서로 통신을 수행한다. 이 과정에서 데이터는 사용자 버퍼에서 RDMA‑가능한 등록 버퍼로 복사된 뒤 전송되며, 수신 후 다시 원본 버퍼로 복사된다. 비록 복사 단계가 추가 오버헤드를 발생시키지만, 복사 작업을 멀티스레드화하여 메모리 대역폭을 최대한 활용함으로써 전체 비용을 최소화한다. 특히 KNC 코프로세서는 코어 수에 비례해 메모리 대역폭이 증가하므로, 복사 단계의 스레드화가 성능 향상에 크게 기여한다.

pMR은 MPI와 병행 사용이 가능하도록 API 차이를 최소화했으며, 기존 MPI 코드에서 persistent와 non‑persistent 두 형태의 포인트‑투‑포인트 통신을 각각 pMR의 persistent 모델로 변환하는 절차를 상세히 제시한다. 변환 과정에서 가장 큰 변화는 통신 핸들을 명시적으로 생성하고, 통신 호출을 init‑post‑wait 형태로 재구성하는 점이다. 비록 코드 라인 수가 늘어나지만, 라이브러리 자체가 가벼워 전체 실행 시간에 미치는 영향은 긍정적이다.

벤치마크는 QPACE 2와 QPACE B 두 클러스터에서 수행되었으며, 두 시스템 모두 KNC와 InfiniBand을 사용한다. 결과는 halo exchange 단계에서 pMR이 MPI 대비 약 2배 빠른 벽시계 시간을 기록했으며, 전체 coarse‑grid solve에서는 최대 20 %의 실행 시간 감소를 보였다. 스케일링 실험에서 KNC 수가 증가할수록 메시지 크기가 작아져 통신 시간이 감소했지만, 전역 합(global sum) 단계가 병목으로 부상했다. 이는 향후 pMR이 전역 감소 연산을 지원하도록 확장해야 함을 시사한다. 또한 QPACE 2의 새로운 Flexible Block Torus 토폴로지는 Intel MPI가 인식하지 못해 추가적인 성능 차이를 야기했으며, pMR은 토폴로지에 독립적인 설계 덕분에 이러한 제한을 회피한다.

향후 계획으로는 전역 합 구현, Omni‑Path 지원, 그리고 QPACE 3와 같은 새로운 클러스터에 대한 포팅이 제시된다. 전반적으로 pMR은 MPI의 복잡성을 크게 낮추면서도 고성능 RDMA 통신을 제공함으로써, 통신‑집약적인 격자 기반 시뮬레이션에 실질적인 가치를 제공한다.