프루닝 초기화의 그래프온 한계: 수렴·표현력·일반화 이론

초록

본 논문은 초기화 단계에서 수행되는 프루닝(Pruning at Initialization, PaI) 방법들의 마스크가 네트워크 폭이 무한대로 커질 때 결정론적 bipartite 그래프온(bipartite graphon)으로 수렴한다는 것을 증명한다. 저자들은 Factorised Saliency Model을 도입해 SNIP, GraSP 등 데이터‑의존적 프루닝과 Random, Magnitude와 같은 무구조적 프루닝을 구분하고, 각각이 균일 그래프온과 이질적 그래프온으로 수렴함을 보인다. 이를 바탕으로 제한된 활성 좌표 하위공간에 대한 보편 근사 정리와 그래프온‑NTK 기반 일반화 경계도 제시한다.

상세 분석

이 논문은 기존 PaI 연구가 주로 유한 폭 통계에 머물렀던 한계를 넘어, 그래프 이론의 그래프온(Graphon) 개념을 네트워크 프루닝에 적용한다. 저자들은 먼저 1‑hidden‑layer 신경망을 가정하고, 프루닝 마스크 Mₙ을 입력 좌표와 은닉 유닛 사이의 bipartite 그래프로 해석한다. 그런 다음 마스크를