출력 중심 희소 복구를 통한 빠른 근사 행렬 곱셈

초록

본 논문은 출력 행렬의 Frobenius 노름에 비례하는 오류를 보장하는 새로운 무작위 근사 행렬 곱셈 알고리즘을 제안한다. Fast Hadamard Transform와 비대칭 대각 스케일링을 결합한 회전 연산을 이용해 입력을 전처리하고, 선택된 r·n 개의 출력 원소만 계산해 전체 행렬을 복원한다. 시간 복잡도는 O(n²(r+log n))이며, 편향 버전은 평균 제곱 오차 (1−r/n)‖AB‖_F², 무편향 버전은 (n/r)‖AB‖_F²을 달성한다. 기존 TensorSketch 대비 로그 수준 빠른 실행이 특징이다.

상세 분석

이 논문은 근사 행렬 곱셈(AMM) 분야에서 “출력 중심” 접근법을 새롭게 제시한다. 기존 방법들은 주로 입력 행렬을 저차원으로 압축한 뒤 압축된 형태에서 곱을 수행하는 스케치 기법을 사용했으며, 이는 압축 과정에서 파라미터 수가 감소해 학습 가능한 자유도가 줄어드는 단점을 가지고 있었다. 저자들은 이러한 한계를 극복하기 위해 입력 행렬 자체를 변형하지 않고, 출력 행렬의 에너지를 균등하게 분산시키는 회전 연산 W_{α,β}(·)=H Diag(α)·Diag(β) H 을 도입한다. 여기서 H 는 Fast Walsh‑Hadamard Transform이며, α,β는 무작위 부호 벡터이다. 이 연산은 유니터리이므로 Frobenius 노름을 보존하면서도 행렬 원소들의 분포를 “의사‑무작위”하게 만든다.

알고리즘은 크게 네 단계로 구성된다. (1) 무작위 부호 벡터 α,β,γ를 샘플링한다. (2) A′=W_{α,γ}(A), B′=W_{γ,β}(B)를 계산한다. 여기서 H와 대각 행렬의 곱은 O(n² log n) 시간에 수행 가능하다. (3) n·r개의 인덱스를 무작위로 선택하고, 선택된 위치에 대해 A′·B′의 해당 원소를 직접 계산한다. 나머지 원소는 0으로 채운 C′를 만든다. (4) 최종 결과 C는 W^{-1}_{α,β}(C′)로 역변환한다.

오류 분석은 두 부분으로 나뉜다. 편향 버전에서는 선택된 인덱스가 전체 n² 중 r·n 비율을 차지하므로, 기대값이 (r/n)AB가 된다. 전체 Frobenius 오차는 E‖C−AB‖_F² = (1−r/n)‖AB‖_F² 로, 이는 출력 노름에 직접 비례한다. 편향을 없애고 무편향 추정량을 얻고자 하면 단계 4를 n/r 배 스케일링하면 되며, 이 경우 오차 상한은 (n/r)‖AB‖_F²가 된다. 이는 Pagh(2013)의 TensorSketch와 동일하지만, 여기서는 추가적인 FFT 단계 없이 O(n² log n)만 소요한다.

또한, per‑entry 분산이 전체 ‖AB‖_F²/n² 로 균일하게 유지된다는 점은 중요한 장점이다. 기존의 무작위 좌표 선택 방식은 각 원소의 크기에 따라 분산이 달라져, 큰 값이 있는 위치에서 오류가 크게 폭발할 위험이 있었다. 저자들의 회전 전처리는 이러한 비균형을 완화시켜, 모든 원소가 평균적인 변동성을 갖도록 만든다.

한계점으로는 (i) n이 2^k 형태여야 H를 정확히 적용할 수 있다는 제약, (ii) 인덱스 선택이 완전 무작위일 경우 실제 구현에서 메모리 접근 패턴이 비효율적일 수 있다는 점, (iii) 출력이 완전히 정확히 복원되려면 r=n이어야 하며, 이는 압축 이점을 상실한다는 점을 들 수 있다. 또한, 회전 연산이 유니터리이기 때문에 스펙트럼 자체는 변하지 않아, 입력 행렬의 고유값 구조를 활용한 추가 가속은 기대하기 어렵다.

전반적으로 이 논문은 “출력 균등화”라는 새로운 관점을 도입해, 기존 스케치 기반 AMM보다 구현이 간단하고 로그 수준 빠른 알고리즘을 제공한다. 특히 대규모 딥러닝 파이프라인에서 파라미터 압축 없이도 근사 곱셈을 수행하고 싶을 때 유용할 것으로 보인다.