저차원 데이터에 대한 얕은 비선형 네트워크의 선형 분리 가능성

초록

본 논문은 저차원 서브스페이스들의 합집합(Union of Subspaces, UoS) 형태로 모델링된 입력 데이터를, 무작위 가중치와 2차 활성화 함수를 갖는 단일 비선형 레이어가 선형적으로 구분 가능하도록 변환한다는 이론적 결과를 제시한다. 핵심은 네트워크 폭이 데이터의 내재 차원에 대해 다항식 규모이면 충분하다는 점이며, 실험을 통해 이 현상이 실제 이미지 데이터와 다양한 활성화 함수에서도 관찰됨을 확인한다.

상세 분석

이 연구는 최근 딥러닝이 학습 과정에서 “선형 분리 가능한 특징”을 형성한다는 경험적 관찰을, 수학적으로 엄밀히 뒷받침하려는 시도이다. 저차원 구조를 가진 이미지 데이터는 실제로 각 클래스가 저차원 선형 부분공간에 가까운 형태로 존재한다는 선행 연구를 인용하고, 이를 Union of Subspaces(UoS) 모델로 정형화한다. 논문은 두 개의 서브스페이스(K=2)를 기본 사례로 삼아, 각 서브스페이스가 차원 r을 갖고 서로의 교차가 {0}인 경우(즉, 최소 하나의 양의 주각이 존재) 를 가정한다.

네트워크는 f_W(x)=σ(Wx) 형태이며, σ는 원소별 제곱(Quadratic) 활성화, W는 D×d 차원의 표준 정규분포(i.i.d.) 가중치 행렬이다. 주요 정리는 “폭 D가 r의 다항식(예: O(r^c), c는 상수) 수준이면, 확률적으로 거의 확실히 두 서브스페이스의 이미지가 서로 선형적으로 구분될 수 있다”는 것이다. 증명은 크게 세 단계로 구성된다. 첫째, 제곱 활성화가 입력 벡터의 외적 형태를 만들어 각 서브스페이스의 내부 구조를 고차원 공간에서 구분 가능한 형태로 변형한다. 둘째, 무작위 가중치 행렬이 고차원 공간에 충분히 많은 독립적인 방향을 제공함으로써, 변환된 두 집합 사이의 최소 거리(또는 마진)가 양수가 되도록 한다. 셋째, 행렬 Bernstein 부등식과 차원 축소에 대한 확률적 경계 등을 이용해 실패 확률을 exp(−Ω(D·θ_min^2)) 수준으로 억제한다.

주요 기여는 다음과 같다. (1) 폭이 데이터의 내재 차원에 비례하는 다항식이면 충분하다는 점을 보였으며, 이는 기존 연구에서 제시된 폭이 입력 차원(d)와 동일하거나 지수적으로 커야 한다는 결과와 대비된다. (2) 제곱 활성화뿐 아니라 ReLU와 같은 비선형 함수에서도 실험적으로 동일한 현상이 나타남을 확인했다. (3) 실험에서는 합성 데이터와 CIFAR‑10, MNIST, Fashion‑MNIST 등 실제 이미지 데이터에 대해, 네트워크 폭을 증가시킬 때 선형 분리 가능성이 급격히 전이(phase transition)하는 현상을 관찰했다. 특히, 폭이 내재 차원에 비례하면 95% 이상의 클래스별 데이터가 선형 분리 가능해지는 임계점이 존재한다는 점을 시각화하였다.

한계점으로는 (가) 두 서브스페이스가 동일 차원을 갖는다는 가정이 현실 데이터에서 완전히 성립하지 않을 수 있다. (나) 증명은 제곱 활성화에 최적화돼 있어, ReLU 등 비선형에 대한 이론적 보장은 부족하다. (다) K>2인 경우는 섹션 3.2에서 개념적으로 확장했지만, 정확한 폭-차원 관계는 아직 미정이다. 향후 연구에서는 비동질적 차원, 잡음이 섞인 데이터, 그리고 다층 네트워크에 대한 일반화가 필요하다.