깊은 신경망의 프랙탈과 정규 기하학

초록

본 논문은 무한 폭을 갖는 랜덤 신경망을 가우시안 과정으로 모델링하고, 깊이에 따라 변화하는 엑시션 집합의 경계 부피를 분석한다. 비정규 활성화(Heaviside)에서는 경계가 프랙탈 차원을 갖으며 깊이가 깊어질수록 차원이 증가한다. 반면 ReLU, 로지스틱, tanh 등 정규 활성화는 Covariance Regularity Index(CRI)에 따라 경계 부피가 0으로 수렴하거나 일정하게 유지되거나 지수적으로 발산한다. 이론적 결과는 몬테카를로 시뮬레이션으로 검증된다.

상세 분석

이 연구는 두 단계로 구성된 분석 프레임워크를 제시한다. 첫 번째 단계에서는 무한 폭 한계에서 신경망이 동등한 가우시안 랜덤 필드(GRF)로 수렴한다는 기존 결과를 활용한다. 이때 각 레이어는 동일한 스칼라 커널 κ를 반복 합성(κ∘…∘κ)함으로써 깊이 L에 따른 공분산 구조를 만든다. 저자들은 κ의 정규성 정도를 정량화하기 위해 Covariance Regularity Index(CRI)를 정의한다. CRI는 κ가 ±1 근처에서 t^β 형태의 비정상적인 항을 갖는 최대 β(0<β≤2)이며, 이는 곧 커널의 Hölder 연속성 정도와 직접 연결된다.

다음으로 스펙트럼 인덱스 α를 도입한다. α는 각 차수 ℓ에 대한 각도 파워 스펙트럼 C_ℓ이 ℓ^{-(α+d)} 형태로 감소한다는 가정에서 유도된다. 중요한 정리는 Proposition 3.4로, α와 CRI 사이에 α/2와 2 중 작은 값이 CRI가 된다는 관계를 밝힌다. 즉, 스펙트럼이 느리게 감소하면(α 작음) 커널이 거칠어져 CRI<1이 되고, 이는 프랙탈 클래스로 분류된다. 반대로 스펙트럼이 빠르게 감소하면(α>2) CRI가 2에 가까워져 C^1 정규성을 확보하고 Kac‑Rice 공식 적용이 가능해진다.

프랙탈 클래스에 속하는 네트워크(예: Heaviside)는 CRI<1을 갖는다. 저자들은 강한 지역 비결정성(strong local nondeterminism) 성질을 이용해 필드의 연속성 모듈러스를 정확히 계산하고, δ‑net 커버링을 통해 그래프 차원의 상한을 구한다. 동시에 잠재법(potential method)을 적용해 차원의 하한을 얻어, Hausdorff 차원이 d(공간 차원)와 일치함을 증명한다. 깊이 L이 증가함에 따라 CRI가 지수적으로 0에 접근하므로, 프랙탈 차원은 단조히 증가해 결국 전체 구면 차원에 수렴한다.

반면 Kac‑Rice 클래스(CRI>1)에서는 필드가 거의 surely C^1임을 Proposition 3.16으로 보인다. 이는 스테레오그래픽 투영과 평균 제곱 도함수의 정밀 분석을 통해 Kolmogorov 연속성 정리를 적용함으로써 입증된다. C^1 정규성을 확보하면 Kac‑Rice 공식이 적용 가능해지고, 기대 경계 부피는 커널의 1 근처 미분값에만 의존한다. 저자들은 이를 이용해 기대 경계 부피가 (i) 낮은 잡음(Low‑disorder) 경우 0으로 수렴, (ii) 희소(sparse) 경우 상수 유지, (iii) 높은 잡음(High‑disorder) 경우 지수적으로 발산한다는 세 가지 경우로 구분한다. 이 세 경우는 이전 연구