그래프 확장성과 빠른 행렬곱의 통신 비용 최적화

초록

이 논문은 행렬곱 알고리즘의 계산 그래프가 가지는 확장성(Expansion) 특성을 이용해, Strassen 및 그 변형 등 빠른 행렬곱 알고리즘의 I/O(통신) 복잡도에 대한 하한을 증명한다. 순차 모델에서는 빠른 메모리 크기 M에 대해 Ω((n/√M)^{ω₀}·M) 의 워드 이동 하한을, p개의 프로세서가 각각 M 크기의 로컬 메모리를 가질 때는 1/p 배로 감소된 하한을 얻는다. 또한 동일한 상한을 갖는 알고리즘을 제시해 이 하한이 최적임을 보인다. 이 결과는 LU, QR, Sylvester 방정식 등 다른 선형대수 알고리즘에도 적용된다.

상세 분석

본 연구는 계산 그래프(CDAG)의 엣지 확장성(Edge Expansion)과 통신 비용 사이의 깊은 연관성을 밝힌다. CDAG는 입력·중간·출력 변수들을 정점으로, 연산 의존성을 방향성 간선으로 표현한다. 확장성이 높은 부분집합은 외부와 많은 간선을 공유하므로, 해당 부분을 메모리 안에 보관하려면 많은 데이터를 교환해야 한다는 직관적 사실을 정량화한다. 논문은 이를 수학적으로 정리해, 임의의 “Strassen‑like” 재귀 행렬곱 알고리즘에 대해 다음과 같은 하한을 도출한다.

1. 연산 복잡도와 확장성 연결: 알고리즘이 O(n^{ω₀}) 연산을 수행한다면, 재귀 단계마다 생성되는 서브‑CDAG는 동일한 구조를 반복한다. 각 단계에서 발생하는 정점 수는 n^{ω₀} 이며, 이들 정점이 차지하는 메모리 양은 Θ(n^{2}) 이다. 확장성 분석을 통해, 크기 s 인 정점 집합이 메모리 M 에 완전히 포함되려면 s ≤ M 이어야 함을 보이고, 이를 위반하면 최소 Ω(s·(n/√M)^{ω₀−2}) 개의 외부 간선이 필요함을 증명한다.

2. 하한식 도출: 위의 관계식을 정리하면, 전체 알고리즘에 필요한 최소 워드 이동량은 Ω((n/√M)^{ω₀}·M) 이 된다. 여기서 ω₀ 는 사용된 빠른 행렬곱 알고리즘의 연산 지수(예: Strassen은 log₂7≈2.807, 전통적인 방법은 3)이다.

3. 병렬 모델 확장: p개의 프로세서가 각각 M 크기의 로컬 메모리를 가질 경우, 전체 메모리 용량은 p·M 이므로 위 식에 p 을 나누어 Ω((n/√M)^{ω₀}·M/p) 라는 하한을 얻는다. 이는 각 프로세서가 독립적으로 동일한 하한을 만족해야 함을 의미한다.

4. 상한과 최적성: 논문은 Strassen 알고리즘을 재귀 깊이 log₂ n 까지 수행하고, 하위 문제의 크기가 Θ(√M) 이하가 되면 직접적인 O(M) I/O를 사용하도록 설계한 구현을 제시한다. 이 구현은 위에서 얻은 하한과 일치하므로, 제시된 하한이 실제로 달성 가능함을 보인다.

5. 일반화: “Strassen‑like”이라 정의된 클래스는 상수 크기의 행렬 곱을 이용해 재귀적으로 큰 행렬을 곱하는 모든 알고리즘을 포함한다. 이 클래스는 Winograd 변형, Coppersmith‑Winograd 계열 등 다양한 최신 알고리즘을 포괄한다. 논문은 이러한 알고리즘에 대해 동일한 확장성 기반 하한을 적용함으로써, 기존에 알려지지 않았던 I/O 복잡도 한계를 최초로 제시한다.

6. 응용: 행렬곱 외에도 LU, QR, Sylvester 방정식 등 선형대수 연산은 기본적인 행렬곱을 여러 번 호출하는 구조를 가진다. 따라서 위에서 증명한 하한을 그대로 적용할 수 있어, 이들 연산에서도 동일한 통신 비용 최적화가 가능함을 강조한다.

이와 같이 논문은 그래프 이론(특히 확장성)과 고성능 컴퓨팅 모델을 결합해, 빠른 행렬곱 알고리즘의 통신 비용에 대한 근본적인 한계를 규명하고, 그 한계를 달성하는 알고리즘 설계 원칙을 제시한다.