ReLU 네트워크 학습 공간의 위상과 기하학: 연결성 및 특이점 분석

초록

본 논문은 일반적인 DAG 형태의 Feed‑forward ReLU 네트워크에서, 그래디언트 흐름에 의해 파라미터가 제한되는 대수적 다양체(불변 집합)의 연결성 및 특이점 구조를 이론적으로 규명한다. 병목 노드와 균형 조건을 통해 연결성의 필요·충분 조건을 제시하고, 특이점이 그래프 위상과 어떻게 연관되는지 밝히며, 이를 기반으로 차별화 가능한 프루닝 방법을 제안한다. 실험을 통해 이론의 타당성을 확인한다.

상세 분석

논문은 먼저 ReLU와 같은 양의 동차 활성화 함수가 갖는 스케일 변환 대칭을 정형화한다. 각 은닉 노드 v에 대해 입력 가중치를 α>0 로 확대하고 출력 가중치를 α⁻¹ 로 축소하는 변환 Tᵥα는 함수값을 보존한다. 연속시간 그래디언트 흐름(GF) 하에서는 손실 함수가 이러한 궤도에 대해 상수이므로, 손실의 그래디언트는 궤도에 수직이다. 이를 행렬 B̃(입력·출력 노드 행을 제거한 인시던스 행렬)와 파라미터 θ, 그래디언트 g(θ)를 이용해
 B̃(θ⊙g(θ))=0
이라는 보존 법칙으로 정리한다. 시간에 따라 θ²의 흐름도 보존되며, 초기값이 만족하는
 B̃θ(0)² = c ∈ ℝ^{|Ṽ|}
이면 모든 t에 대해 동일한 c가 유지된다. 따라서 파라미터는 다항식 방정식 시스템 B̃θ² = c 로 정의되는 대수적 다양체 H_G(c) 안에 머문다.

연결성 분석에서는 H_G(c)의 위상 구조가 그래프의 병목(bottleneck) 노드와 각 부분 그래프의 균형 조건에 의해 결정된다고 증명한다. 특히, 어떤 은닉 노드 집합 S가 입력·출력 경로를 모두 차단하고, 해당 집합에 대한 c값이 서로 다른 부호를 가질 경우 H_G(c)는 S를 기준으로 두 개의 연결 성분으로 분리된다. 반대로, 모든 병목에 대해 c가 동일한 부호를 유지하고, 각 연결된 서브그래프가 “균형”—즉, 각 노드 v에 대해 Σ_{i→v}θ_{i,v}² = Σ_{v→j}θ_{v,j}²—을 만족하면 H_G(c)는 하나의 연결 성분을 이룬다. 이러한 조건은 기존의 shallow 네트워크 결과를 DAG 전반으로 일반화한 것이다.

특이점 분석에서는 H_G(c) 내에서 θ_{i,v}=0 혹은 θ_{v,j}=0 인 엣지가 발생하는 경우를 조사한다. 이러한 제로 가중치는 해당 노드가 완전히 차단된 서브네트워크를 형성하게 하며, 이는 다양체의 차원 감소와 비정상적인 접합점(singularity)을 만든다. 논문은 이러한 특이점이 그래프 위상의 “분리된” 부분과 일대일 대응한다는 정리를 제시하고, 일반적인 초기화에서는 그래디언트 흐름이 특이점에 도달하지 못함을 보인다(특이점은 불변 집합의 경계에 존재하지만, 흐름은 내부에서 보존 법칙에 의해 움직이기 때문에).

마지막으로, 특이점을 이용한 차별화 가능한 프루닝 방법을 제안한다. 파라미터 행렬에 핵노름(nuclear norm) 정규화를 추가하면 θ²의 흐름이 특정 방향으로 수축되어, 자연스럽게 일부 엣지가 영으로 수렴한다. 실험에서는 L1 정규화도 유사한 효과를 보여, 특이점 유도 프루닝이 손실 없이 모델 압축에 활용될 수 있음을 확인한다.