MPI와 X 기반 작업 기반 유한 요소 어셈블리와 동적 부하 균형

초록

본 논문은 유한 요소(FE) 코드의 행렬 어셈블리 단계에서 발생하는 레이스 컨디션과 부하 불균형 문제를 해결하기 위해 MPI와 OpenMP(또는 OmpSs) 기반의 작업(task) 병렬화를 제안한다. 색칠(coloring)과 서브스트럭처 기법의 한계를 극복하고, 하이브리드 메쉬에서 요소별 연산 비용 차이를 동적으로 조정하기 위해 DLB(Dynamic Load Balance) 라이브러리를 적용하였다. 16 k 코어까지 확장 가능한 성능을 실험을 통해 검증하였다.

상세 분석

이 논문은 유한 요소 해석에서 가장 비용이 많이 드는 행렬 어셈블리 과정을 MPI+X 하이브리드 모델로 재구성한다. 기존의 OpenMP 기반 루프 병렬화는 요소마다 공유 행렬에 원소를 누적하는 과정에서 레이스 컨디션을 피하기 위해 색칠(coloring)이나 서브스트럭처(substructuring) 기법을 사용한다. 색칠은 메모리 접근 패턴을 파편화시켜 인스트럭션당 사이클(IPC)을 저하시키고, 서브스트럭처는 구현 복잡도를 크게 증가시켜 다중 루프에 적용하기 어렵다.

저자들은 이러한 문제를 해결하기 위해 요소 루프를 작업(task) 단위로 전환하고, OpenMP 확장인 OmpSs를 활용한다. 작업화는 각 요소에 대한 행렬·벡터 계산을 독립적인 작업으로 만들고, 어셈블리 단계에서는 자동 종속성 분석을 통해 안전하게 병렬 실행을 보장한다. 이 접근법은 색칠에 비해 메모리 지역성을 유지하면서도 레이스 컨디션을 회피한다. 또한 작업 단위가 작아 동적 스케줄링이 가능해, 하이브리드 메쉬(프리즘, 피라미드, 테트라 등)에서 요소별 연산 비용 차이를 런타임에 자동으로 보정한다.

동적 부하 균형을 위해 DLB 라이브러리를 도입하였다. DLB는 MPI 프로세스 간에 CPU 자원을 재분배하는 방식으로, 데이터 이동 없이 실행 중인 스레드의 워크로드를 조정한다. 특히 메쉬 파티셔닝 단계에서 METIS와 같은 도구가 요소 수는 균등하게 배분하더라도, 요소 종류에 따른 연산량 차이로 인한 부하 불균형을 완전히 해소하지 못한다는 점을 지적한다. DLB는 이러한 미세 부하 불균형을 실시간으로 감지하고, 과부하된 MPI 랭크에 추가 코어를 할당하거나 유휴 코어를 회수함으로써 전체 실행 시간을 최소화한다.

성능 평가에서는 17.7 M 요소(프리즘·테트라·피라미드 혼합)로 구성된 호흡기 모델과 31.5 M 요소(헥사·프리즘·피라미드·테트라 혼합)로 구성된 핵융합 구조물 모델을 사용하였다. 실험 결과, 전통적인 색칠 기반 OpenMP와 비교했을 때 작업 기반 구현은 평균 1.4배 이상의 스케일링 효율을 보였으며, DLB 적용 시 최대 20 %까지 실행 시간이 감소하였다. 특히 16 k 코어 규모에서 MPI+X+DLB 조합이 가장 높은 효율을 달성했으며, 부하 불균형이 심한 경우에도 성능 저하를 최소화했다.

이 논문은 작업 기반 병렬화와 동적 부하 균형을 결합함으로써, 복잡한 하이브리드 메쉬와 대규모 코어 수 환경에서도 유한 요소 어셈블리 단계의 확장성을 크게 향상시킬 수 있음을 실증한다. 또한 구현 복잡성을 크게 증가시키지 않으면서 기존 코드에 비교적 손쉽게 적용할 수 있다는 실용적 장점도 강조한다.