동적 루프 병렬화 런타임 선택 기반 OpenMP 최적화

초록

본 논문은 중첩 루프 구조를 가진 HPC 코드에서 정적 병렬화 결정의 한계를 지적하고, 실행 시점에 최적의 루프를 선택하도록 하는 동적 병렬화 프레임워크를 제안한다. OpenMP의 if 절을 이용한 기존 방법에 비해 평균 2배 이상의 성능 향상을 보인다.

상세 분석

중첩 루프는 HPC 애플리케이션에서 가장 흔히 발견되는 패턴이며, 병렬화 전략 선택은 전체 실행 시간에 결정적인 영향을 미친다. 전통적인 OpenMP 프로그래밍에서는 #pragma omp parallel for와 같은 지시자를 사용해 어느 루프를 병렬화할지 컴파일 타임에 고정한다. 그러나 루프 반복 횟수는 입력 데이터 크기, 알고리즘 단계, 동적 조건 등에 따라 크게 변동한다. 예를 들어, 외부 루프가 수천 회 반복되지만 내부 루프는 몇 회만 수행되는 경우와, 반대로 내부 루프가 수천 회 반복되는 경우가 동일한 코드에 존재할 수 있다. 정적 선택은 이러한 변동성을 반영하지 못해 자원 활용도가 낮아지고, 오히려 오버헤드가 증가한다.

논문에서 제안하는 시스템은 런타임에 각 루프의 실제 반복 횟수와 현재 시스템의 스레드 가용성을 측정한다. 측정값을 기반으로 비용 모델을 적용해 어느 루프를 병렬화하는 것이 가장 효율적인지를 판단한다. 비용 모델은 (1) 루프 반복 횟수, (2) 루프 본문의 연산 강도, (3) 스레드 생성·소멸 비용, (4) 메모리 접근 패턴을 고려한다. 모델 평가 결과에 따라 OpenMP의 if 절을 동적으로 설정하거나, 필요시 중첩 병렬 영역을 삽입한다.

핵심 구현은 두 단계로 나뉜다. 첫 번째 단계는 “프로파일링 단계”로, 첫 몇 번의 반복에서 루프 메타데이터를 수집한다. 이 단계는 경량화된 어셈블리 레벨 카운터와 하드웨어 성능 카운터(PAPI 등)를 활용해 오버헤드를 최소화한다. 두 번째 단계는 “결정 단계”로, 수집된 데이터를 바탕으로 사전에 정의된 임계값과 비교해 병렬화 전략을 선택한다. 선택된 전략은 이후 반복에서 그대로 적용되며, 필요시 재평가 주기를 설정해 장기 실행 시 변화하는 워크로드에도 적응한다.

성능 평가에서는 대표적인 3가지 벤치마크(행렬 곱셈, 3차원 유체 시뮬레이션, 다중 그리드 솔버)를 사용했다. 각 벤치마크는 입력 크기와 스레드 수를 다양하게 변형했으며, 기존 OpenMP if 절 기반 방법과 비교했다. 결과는 평균 1.8배, 최악의 경우 2.4배까지 속도 향상을 보여준다. 특히, 반복 횟수가 크게 불균형한 경우(예: 외부 루프 10회, 내부 루프 10,000회)에는 정적 병렬화가 심각한 스레드 불균형을 초래하지만, 제안 시스템은 내부 루프를 자동으로 선택해 균등한 작업 분배를 달성한다.

또한, 메모리 대역폭 제한이 주요 병목인 경우에도 비용 모델이 메모리 접근 패턴을 고려해 병렬화 깊이를 제한함으로써 캐시 미스와 메모리 충돌을 최소화한다. 이는 단순히 스레드 수를 늘리는 것이 오히려 성능을 저하시킬 수 있는 상황을 방지한다.

이와 같이 논문은 정적 병렬화의 한계를 체계적으로 분석하고, 런타임 기반 의사결정 메커니즘을 통해 실제 워크로드에 맞는 최적의 병렬화 전략을 제공한다. 제안 방법은 OpenMP 표준을 그대로 활용하므로 기존 코드에 최소한의 수정만으로 적용 가능하며, 향후 자동 튜닝 프레임워크와 결합해 더욱 정교한 최적화를 기대할 수 있다.