유한 투영 기하학을 이용한 고속 무충돌 병렬 행렬 연산

초록

본 논문은 유한 투영 기하학 그래프를 기반으로 한 데이터 분산 및 스케줄링 기법을 제안한다. 컨주게이트 그라디언트(PCG)에서의 희소 행렬‑벡터 곱(SpMV)과 LU/Cholesky 분해를 위한 병렬 알고리즘에 적용해, 통신량을 O(√n)으로 감소시키고 충돌 없는 완전 접근 패턴을 구현함으로써 기존 행렬‑기반 분산 방식보다 뛰어난 확장성을 보인다.

상세 분석

이 논문은 두 가지 핵심 문제, 즉 대규모 희소 행렬‑벡터 곱(SpMV)과 일반 행렬에 대한 LU/Cholesky 분해를 병렬화하는 데 초점을 맞춘다. 기존의 행 기반(row‑wise) 데이터 분산은 각 프로세서가 n‑1개의 벡터 블록을 교환해야 하므로 통신 복잡도가 O(n)이다. 저자들은 유한 투영 기하학 P(d, F)에서 점을 메모리, 선을 프로세서에 매핑하고, 두 점을 잇는 선에 해당하는 행렬 블록 A_{i,j}를 그 선에 할당한다. 이때 입력 벡터 x_i는 프로세서 i에, 출력 벡터 y_j는 프로세서 j에 저장된다. 이러한 “프로젝티브 데이터 분포”는 각 프로세서가 오직 2p≈2√n개의 벡터 블록만 교환하면 되도록 설계되어, SpMV의 통신 복잡도를 O(√n)으로 감소시킨다.

또한, 투영 기하학의 대칭성과 자동동형성(automorphism)을 활용해 “완전 접근 패턴(perfect‑access pattern)”과 “완전 접근 시퀀스(perfect‑access sequence)”를 정의한다. 이는 모든 프로세서와 메모리가 충돌 없이 동시에 통신하도록 보장한다. 특히, 2‑차원 투영 평면은 직경이 2인 완전 차이 네트워크(perfect‑difference network, PDN)와 동형이며, 이는 한 번의 홉으로 모든 노드가 서로 연결될 수 있음을 의미한다. 이러한 특성은 LU/Cholesky 분해 시에도 활용되는데, 저자들은 4‑차원 투영 공간을 선택해 처리 유닛을 2‑차원 서브스페이스, 메모리를 1‑차원 서브스페이스에 매핑하고, 서브스페이스 간의 비자명 교차를 통신 링크로 사용한다.

스케줄링 측면에서, 행렬 블록을 “라인‑포인트” 관계에 따라 할당함으로써 각 프로세서는 자신이 담당하는 블록에 필요한 입력 벡터만을 최소 횟수로 받아올 수 있다. 이는 기존의 피벗 교환이 필요한 LU 분해와 달리, 피벗 없이도 균형 잡힌 부하 분산을 가능하게 한다. 실험에서는 MPI 기반 구현을 통해 전통적인 행 기반 분산과 비교했을 때, 통신량 감소와 충돌 회피 덕분에 스케일업 효율이 현저히 향상된 것을 확인하였다.

핵심 인사이트는 다음과 같다. 첫째, 유한 투영 기하학의 구조적 대칭성을 데이터 분산에 직접 적용함으로써 통신 복잡도를 이론적으로 최적화할 수 있다. 둘째, 완전 차이 네트워크와 동일한 직경‑2 특성을 이용하면, 병렬 알고리즘에서 발생하는 “통신 병목”을 근본적으로 제거할 수 있다. 셋째, 이러한 기법은 SpMV뿐 아니라 LU/Cholesky와 같은 복합 연산에도 확장 가능하며, 메모리‑프로세서 매핑을 기하학적 서브스페이스에 기반해 설계하면 피벗이나 추가적인 동기화 없이도 부하 균형을 달성한다. 마지막으로, 저자들은 이 데이터 분산 방식을 특허 출원 중이며, 향후 고성능 컴퓨팅 시스템의 인터커넥트 설계와 알고리즘 수준 모두에 적용될 잠재력이 크다고 주장한다.