스트라센 알고리즘 기반 신경망으로 행렬 역연산 효율화

초록

본 논문은 스칼라 곱을 근사할 수 있는 활성화 함수를 전제로, 스트라센 행렬 곱 알고리즘을 신경망 구조에 적용해 가중치와 층 수를 기존 방법보다 크게 감소시킨다. 이를 통해 행렬 곱과 역연산을 근사하는 신경망을 설계하고, 갈레르킨 방법과 결합해 파라메트릭 타원형 PDE를 효율적으로 해결한다. 주요 기여는 매개변수 복잡도 상한을 log₂7 차수로 낮춘 새로운 이론적 경계와, 이를 실제 연산에 적용한 실험적 검증이다.

상세 분석

논문은 먼저 “스칼라 곱을 근사할 수 있는 활성화 함수”라는 가정을 명시하고, 이 가정 하에 ReLU, x², ReLU² 등 다양한 활성화 함수가 포함될 수 있음을 제시한다. 이 전제는 기존 연구