선형 문제의 복잡도와 안정성: 행렬 곱셈 중심 고찰

초록

이 논문은 선형 대수의 기본 연산인 행렬 곱셈을 중심으로, 연산 복잡도와 수치 안정성을 동시에 탐구한다. 대수적 복잡도 이론에서 텐서의 순위와 경계 순위가 알고리즘의 이론적 한계를 결정하고, Strassen 알고리즘, 레이저 방법, 그리고 군론 기반 기법을 통해 ω(행렬 곱셈 지수)를 2.376 이하로 낮추는 최신 결과들을 정리한다. 또한 행렬 곱셈 복잡도가 LU 분해, 역행렬, 행렬식 등 다른 선형 문제들의 복잡도와 동일함을 보인다.

상세 분석

논문은 먼저 선형 문제의 연산 비용을 총 연산 복잡도 L_tot와 곱셈 전용 복잡도 L으로 구분한다. 특히, 이중선형(양선형) 함수 ϕ:U×V→W를 텐서 t∈U⊗V⊗W로 표현하고, 그 순위 R(t)가 곱셈 복잡도의 상한이 됨을 강조한다. 순위는 최소 r에 대해 t=∑_{i=1}^r u_i⊗v_i⊗w_i 로 분해되는 최소값이며, 이는 Strassen이 제시한 “곱셈을 선형 함수들의 곱으로 표현”이라는 아이디어와 동일하다. 순위와 실제 곱셈 복잡도 사이에는 L(ϕ)≤R(ϕ)≤2L(ϕ)라는 관계가 있어, 순위 분석만으로도 복잡도 추정이 가능함을 보여준다.

행렬 곱셈 텐서 h_{n,n,n}의 순위는 아직 정확히 알려지지 않았지만, n=2에서는 R=7(Winograd)이며, n=3에서는 19≤R≤23 정도가 알려져 있다. 이를 바탕으로 정의된 행렬 곱셈 지수 ω(F)=inf{τ | L_tot(n×n 곱셈)=O(n^τ)}는 현재 2≤ω≤2.376 사이에 있다. Strassen 알고리즘은 2×2 행렬을 7번의 곱셈으로 수행해 ω≤log_2 7≈2.807을 얻었고, 이후 레이저 방법과 군론적 접근이 이를 점진적으로 개선했다.

레 이저 방법은 여러 작은 텐서를 하나의 “레이저” 텐서에 효율적으로 패킹하고, 그 경계 순위(border rank) R̄(t)를 이용해 재귀적 복잡도 분석을 수행한다. 경계 순위는 근사 텐서 t₁(ε)=∑{i=1}^r u_i(ε)⊗v_i(ε)⊗w_i(ε) 로 ε→0일 때 t와 일치하도록 하는 최소 r이며, 실제 순위보다 작을 수 있다. 레이저 방법은 R̄(h{e,e,e})≤r이면 ω≤log_e r 를 얻는 식 (4)를 도출하고, 이를 통해 현재 알려진 최적 상한 2.376을 달성한다.

군론적 방법은 C