동적 병렬 연산을 위한 효율적인 다차원 데이터 재분배

초록

본 논문은 클러스터 슈퍼컴퓨터에서 MPI 기반 병렬 프로그램의 프로세서 수를 실행 중에 동적으로 조정할 수 있는 프레임워크 ReSHAPE을 소개한다. 핵심은 2차원 블록‑사이클릭 배열을 기존 프로세서 격자 P에서 새로운 격자 Q로 옮길 때, 행·열 컨텐션을 최소화하는 무충돌 통신 스케줄을 설계한 알고리즘이다. P_r ≤ Q_r·및 P_c ≤ Q_c인 경우는 직접 매핑, 그 외 경우는 원형 이동을 적용한다.

상세 분석

ReSHAPE 프레임워크는 기존 정적 스케줄링이 초래하는 자원 낭비 문제를 해결하기 위해 동적 리사이징(dynamic resizing) 메커니즘을 제공한다. 이 메커니즘의 핵심은 두 단계로 구성된다. 첫 번째는 현재 실행 중인 MPI 애플리케이션이 사용 중인 프로세서 집합 P를 해제하거나 추가 프로세서를 획득하는 단계이며, 두 번째는 애플리케이션 상태를 새로운 프로세서 집합 Q에 효율적으로 재분배하는 단계이다. 논문은 특히 두 번째 단계에 초점을 맞추어, 2‑D 블록‑사이클릭 데이터 레이아웃을 가정하고, P와 Q가 각각 P_r × P_c, Q_r × Q_c 형태의 격자 구조를 가진다고 가정한다.

알고리즘은 먼저 P와 Q의 행·열 크기 관계를 평가한다. P_r ≤ Q_r 및 P_c ≤ Q_c인 경우, 즉 새로운 격자가 기존 격자보다 행·열 모두 넓은 경우에는 각 데이터 블록을 그대로 매핑해도 충돌이 발생하지 않는다. 이때는 각 프로세서가 담당하는 블록 집합을 행·열 인덱스에 따라 일대일 대응시키고, 통신 스케줄은 단순히 “행 우선, 열 우선” 순서대로 진행한다. 이 스케줄은 모든 송수신이 동시에 이루어질 수 있도록 설계되어, 네트워크 포트와 노드 레벨에서의 컨텐션을 완전히 회피한다.

반면 P_r > Q_r 또는 P_c > Q_c인 경우, 즉 새로운 격자가 기존 격자보다 어느 한 축에서 작아지는 상황에서는 직접 매핑만으로는 충돌이 불가피하다. 이를 해결하기 위해 논문은 “원형 행·열 이동(circular shift)” 전략을 도입한다. 구체적으로, 행이 축소되는 경우에는 P의 행 인덱스를 Q의 행 인덱스로 모듈러 연산을 통해 매핑하고, 동시에 행 단위로 순환 이동을 수행한다. 열이 축소되는 경우에도 동일한 원리를 적용한다. 이렇게 하면 동일한 물리적 노드에 동시에 여러 메시지가 몰리는 상황을 피하면서, 전체 데이터 이동량은 최소화된다.

통신 비용 분석에서는 전송량 O(N)와 단계 수 O(log max(P_r,Q_r) + log max(P_c,Q_c))를 보이며, 특히 무충돌 스케줄에서는 단계 수가 로그 스케일로 제한돼 대규모 시스템에서도 확장성이 뛰어나다는 점을 강조한다. 또한, 구현 측면에서 MPI의 비블로킹 통신(IBcast, IAlltoall)과 사용자 정의 스케줄러를 결합해, 실제 클러스터 환경에서 오버헤드가 5 % 이하로 감소함을 실험적으로 입증한다.

이 알고리즘은 블록‑사이클릭 배열에 국한되지 않고, 일반적인 2‑D 데이터 분할 패턴(예: 행렬 곱셈, FFT)에도 적용 가능하다. 특히, 데이터 재분배가 빈번히 일어나는 적응형 워크로드(예: 동적 부하 균형, 자원 가변성 대응)에서 큰 이점을 제공한다.

요약하면, 논문은 동적 리사이징 환경에서 데이터 재분배가 시스템 전체 성능에 미치는 영향을 정량적으로 분석하고, 행·열 관계에 따라 두 가지 최적 스케줄을 제시함으로써, 기존 정적 스케줄링 대비 자원 활용 효율을 20 % 이상 향상시킬 수 있음을 보인다.