무작위 행렬 연산의 힘을 다시 살펴보다

초록

무작위 행렬은 대부분 잘 조건화되어 있다는 사실을 이용해, 피벗 없이 가우스 소거법을 안정화하고, 블록 가우스 소거, 큰·작은 특이값에 대응하는 선행·후행 특이공간 근사, 저랭크 근사, 수치적 계수 판정 및 텐서 분해를 효율적으로 수행하는 새로운 알고리즘을 제시한다. 이론적 증명은 가우시안 무작위 매트릭스를 기반으로 하지만, 실험에서는 파라미터가 적은 희소·구조화 무작위 매트릭스에서도 동일한 성능을 확인하였다.

상세 요약

본 논문은 무작위 행렬이 고확률적으로 작은 조건수를 갖는다는 고전적 결과를 출발점으로 삼아, 여러 기본적인 행렬 연산에 무작위 매트릭스 승산을 적용하는 일련의 기법을 제안한다. 첫 번째 기법은 피벗 선택 없이도 수치적으로 안정적인 가우스 소거법을 구현한다. 무작위 전처리 행렬 (G)를 원래 행렬 (A)에 좌·우측으로 곱해 (G A) 혹은 (A G) 형태로 변형하면, 대부분의 경우 (G)가 잘 조건화된 행렬이므로 전체 시스템의 조건수가 크게 개선된다. 이때 Gaussian elimination은 전통적인 부분 피벗 전략을 생략해도 오차가 급격히 증가하지 않는다.

두 번째는 블록 가우스 소거법에 대한 확장이다. 블록 차원에서 무작위 행렬을 삽입하면 블록 간 상호작용이 평균적으로 균등해져, 블록 대각선이 거의 독립적인 작은 시스템으로 분리된다. 이는 병렬 구현 시 통신 비용을 크게 감소시키며, 대규모 희소 행렬에 특히 유리하다.

세 번째는 특이값 분해와 연관된 선행·후행 특이공간의 근사이다. 원래 행렬 (A)가 매우 ill‑conditioned 하더라도, 무작위 매트릭스 (Ω)를 이용해 (Y = A Ω) 혹은 (Z = A^{T} Ω)를 형성하면, (Y)와 (Z)는 각각 가장 큰·작은 특이값에 대응하는 공간을 고확률적으로 포착한다. QR 분해와 작은 차원의 SVD를 결합하면, 원래 행렬의 선행·후행 특이벡터를 저비용으로 복원할 수 있다.

네 번째는 저랭크 근사와 수치적 랭크 판정이다. 무작위 투영을 통해 얻은 저차원 스케치 행렬은 원 행렬의 핵심 스펙트럼 정보를 보존한다. 따라서 고차원 행렬을 작은 행렬로 압축한 뒤, 표준적인 SVD 혹은 CUR 분해를 적용하면 원래 행렬을 지정된 오차 한계 내에서 저랭크 근사할 수 있다. 이 과정에서 필요한 무작위 파라미터의 수는 원 행렬의 엔트리 수에 비해 매우 적다.

마지막으로 텐서 분해에 대한 확장도 제시한다. 텐서의 각 모드에 무작위 매트릭스를 곱해 텐서 스케치를 수행하면, CP 혹은 Tucker 분해를 수행하기 위한 핵심 코어 텐서와 팩터 행렬을 효율적으로 추정할 수 있다. 이는 기존의 고비용 ALS(Alternating Least Squares) 방법에 비해 연산량과 메모리 사용량을 크게 줄인다.

이론적 분석에서는 Gaussian 무작위 매트릭스에 대해 확률적 경계와 기대값을 엄밀히 도출한다. 특히, 무작위 전처리 후의 최소 특이값이 (\Omega(1/\sqrt{n})) 수준으로 유지된다는 결과는 피벗 없는 가우스 소거법의 수치 안정성을 보장한다. 실험에서는 Gaussian 매트릭스뿐 아니라, 서브샘플링된 Hadamard, Count‑Sketch, Sparse Sign 매트릭스 등 파라미터가 훨씬 적은 구조화 무작위 매트릭스를 사용했음에도 동일한 정확도와 속도 향상을 확인하였다. 이는 무작위 매트릭스 설계에 있어 “희소·구조화”가 실용적인 대안이 될 수 있음을 시사한다.