멀티코어 환경을 위한 병렬 타일 선형대수 알고리즘

초록

본 논문은 멀티코어 프로세서의 특성을 살려 Cholesky, LU, QR 분해를 작은 정사각형 블록(타일) 단위의 작업으로 분해하고, 작업 간 의존성을 기반으로 동적 스케줄링하는 방법을 제안한다. 작업을 비순차적으로 실행함으로써 순차적 단계의 영향을 최소화하고, 기존 LAPACK‑BLAS 수준의 병렬성보다 높은 성능을 달성한다.

상세 분석

이 연구는 전통적인 LAPACK 구현이 BLAS 레벨‑3 연산을 중심으로 병렬화를 수행하는 한계를 정확히 짚어낸다. BLAS 호출은 대체로 큰 행렬 전체를 대상으로 하며, 코어 간 동기화가 빈번히 발생해 멀티코어 환경에서 스케일링이 제한된다. 저자들은 이러한 구조적 병목을 해소하기 위해 행렬을 일정한 크기의 타일로 분할하고, 각 타일에 대해 기본 연산(예: POTRF, TRSM, SYRK, GEMM 등)을 수행하는 작은 작업(task)으로 재구성한다.

핵심 아이디어는 작업 그래프를 명시적으로 구성하고, 작업 간 데이터 의존성을 DAG(Directed Acyclic Graph) 형태로 표현하는 것이다. 이렇게 하면 런타임 스케줄러가 현재 사용 가능한 코어 수와 작업 준비 상태를 실시간으로 파악해, 준비된 작업을 즉시 할당할 수 있다. 작업이 비동기적으로 실행되면서 순차적인 단계(예: Cholesky 분해의 패널 업데이트)가 다른 작업에 의해 가려져 전체 실행 시간이 크게 단축된다.

타일 크기 선택은 두 가지 상충 관계를 고려한다. 작은 타일은 더 많은 병렬성을 제공하지만, 각 작업의 연산량이 감소해 메모리 대역폭 효율이 떨어질 위험이 있다. 반면 큰 타일은 연산 효율을 높이지만 병렬도는 감소한다. 논문에서는 실험을 통해 64×64 혹은 128×128 정도가 현재 테스트 플랫폼(다중 코어 Xeon)에서 최적의 균형을 이루는 것으로 보고한다.

동적 스케줄링 메커니즘은 기존의 정적 스케줄링(예: OpenMP의 static schedule)과 달리 작업이 완료될 때마다 작업 큐를 재평가한다. 이를 위해 저자들은 간단한 우선순위 규칙(예: 종속성이 적은 작업에 높은 우선순위 부여)과 작업 도착 시점에 기반한 “ready‑list” 방식을 채택했다. 이러한 접근은 작업 부하가 불균형한 경우에도 코어 활용률을 90 % 이상 유지하도록 돕는다.

성능 평가에서는 동일한 하드웨어에서 LAPACK‑BLAS 구현과 비교했을 때, 타일 기반 알고리즘이 Cholesky, LU, QR 모두 2배 이상, 경우에 따라 4배에 가까운 속도 향상을 보였다. 특히 큰 행렬(예: 10 000×10 000)에서 스케일링 효율이 크게 개선되었으며, 메모리 계층 구조(캐시, 메인 메모리)와의 친화성도 향상되었다.

이 논문의 기여는 단순히 알고리즘을 타일화한 수준을 넘어, 작업 그래프 기반의 동적 스케줄링 프레임워크를 제시함으로써 멀티코어 환경에서 선형대수 연산의 병렬성을 근본적으로 재구성한 점에 있다. 향후 GPU나 이종 컴퓨팅 환경에도 동일한 DAG 기반 스케줄링을 적용할 수 있는 가능성을 열어준다.