거의 행렬곱 시간에 가능한 행렬 대각화와 의사스펙트럼 파쇄

초록

이 논문은 복소수 가우시안 잡음을 작은 크기로 추가하면 임의의 복소 행렬의 의사스펙트럼이 n개의 서로 멀리 떨어진 영역으로 분리된다는 사실을 이용한다. 이를 ‘의사스펙트럼 파쇄’라 부르고, 파쇄된 행렬에 대해 로버츠의 뉴턴 반복법을 정밀히 분석해 행렬 부호 함수(sign function)를 빠르고 수치적으로 안정적으로 계산한다. 최종적으로, 행렬 A(‖A‖≤1)와 허용 오차 δ에 대해 고확률로 ‖A‑V D V⁻¹‖≤δ 를 만족하는 가역 행렬 V와 대각 행렬 D를 O(T_MM(n)·log²(n/δ)) 연산으로 구한다. 여기서 T_MM(n)은 안정적인 행렬 곱에 필요한 연산 수이며, 알고리즘은 O(log⁴(n/δ)·log n) 비트 정밀도만을 요구한다. 이는 기존 O(n¹⁰/δ²) 혹은 O(n³) 수준의 복잡도를 크게 뛰어넘는 결과이며, 일반 행렬 대각화를 거의 행렬곱 시간에 해결한 최초의 알고리즘이다.

상세 분석

본 논문은 두 가지 핵심 기법을 결합해 일반 복소 행렬의 근사 대각화를 거의 행렬곱 시간에 수행한다. 첫 번째는 ‘의사스펙트럼 파쇄(pseudospectral shattering)’라는 개념이다. 임의의 n×n 행렬 A에 작은 복소 가우시안 잡음 γG (γ≈n⁻¹/²) 를 더하면, 결과 행렬 X=A+γG의 ε‑의사스펙트럼 Λ_ε(X)가 n개의 작은 컴포넌트로 분리된다. 이는 각 컴포넌트가 서로 충분히 멀리 떨어져 있어 최소 고유값 간격(gap)이 Ω(γ) 수준으로 보장된다는 의미이며, 동시에 고유벡터 조건수 κ_V(X)가 O(n) 이하로 제한된다. 이러한 성질은 기존 무작위 행렬 이론에서 알려진 최소 고유값 간격 결과를 일반 행렬에 확장한 것으로, Davie의 ‘gap conjecture’를 해결한 최신 결과와 직접 연결된다. 파쇄된 행렬은 고유값이 잘 구분되고 고유벡터가 잘 조건화되어 있기 때문에, 수치적인 불안정성이 크게 감소한다.

두 번째 핵심은 로버츠가 제안한 행렬 부호 함수(sign function) 계산을 위한 뉴턴 반복법을 정밀히 분석한 것이다. 부호 함수는 행렬을 두 개의 안정된 부분공간으로 분할하는 데 필수적인데, 기존에는 무한 정밀도 가정 하에서만 수렴이 보장되었다. 저자들은 파쇄된 행렬 X에 대해 ‖X‖≤1, 최소 고유값 간격 ≥γ, κ_V(X)≤O(n)이라는 조건이 만족될 때, 뉴턴 반복 X_{k+1}=½(X_k+X_k⁻¹) 가 유한 정밀도에서도 로그(1/δ) 단계 내에 ε‑정확도를 달성함을 증명한다. 이때 발생하는 라운딩 오류는 각 단계마다 O(u·‖X_k‖) 수준으로 제한되며, 전체 알고리즘이 요구하는 비트 수는 O(log⁴(n/δ)·log n) 로 다항 로그에 머문다.

이 두 기법을 결합해 ‘스펙트럴 이분(spectral bisection)’ 알고리즘을 설계한다. 기본 아이디어는 복소 평면을 원점 중심의 원으로 나누어, 부호 함수를 이용해 행렬을 두 부분공간으로 분할하고, 재귀적으로 각 부분공간에 대해 동일 과정을 적용하는 것이다. 파쇄된 행렬에서는 각 분할 단계마다 고유값이 명확히 구분되므로, 재귀 깊이가 O(log(n/δ)) 로 제한되고, 각 단계에서 행렬 곱, 역, QR 분해 등 기본 연산을 수행한다. 이 기본 연산들은 모두 최적 행렬 곱 알고리즘에 귀속될 수 있으므로 전체 복잡도는 O(T_MM(n)·log²(n/δ)) 가 된다.

알고리즘의 수치 안정성을 보장하기 위해 저자들은 ‘블랙박스 오류 모델’을 도입한다. 이는 행렬 곱, 역, QR 분해가 각각 상대 오차 ≤u 로 수행된다고 가정하고, 전체 알고리즘이 이 오차 전파를 정확히 추적한다는 점에서 실용적인 의미가 크다. 또한, V의 조건수 ‖V‖·‖V⁻¹‖ 가 O(n^{2.5}/δ) 이하로 제한된다는 추가 결과는, 최종 근사 대각화가 실제 과학·공학 계산에서 사용될 때 발생할 수 있는 수치적 폭주를 방지한다.

결과적으로, 이 논문은 (1) 임의 행렬에 대한 의사스펙트럼 파쇄 현상을 정량화하고, (2) 파쇄된 행렬에 대해 부호 함수를 안정적으로 계산하는 새로운 수치 해석을 제공하며, (3) 이를 통해 일반 행렬 대각화를 거의 행렬곱 시간에 해결하는 최초의 알고리즘을 제시한다는 점에서 이론적·실용적 모두 큰 의미를 가진다.