과잉폭 넓은 ReLU 네트워크의 손실 지형은 폭넓게 연결된다

초록

본 논문은 하나의 은닉층을 가진 ReLU 네트워크에서, 폭이 충분히 넓어질 경우 모든 동일 손실 수준의 모델이 손실 증가 ε 이하의 연속 경로로 연결될 수 있음을 증명한다. 특히 L‑Lipschitz convex 손실과 ℓ₁ 정규화된 출력층에 대해 에너지 갭 ε가 폭 m에 대해 O(m⁻ζ) 로 감소함을 보이며, 실험적으로 폭이 넓을수록 에너지 갭이 작아짐을 확인한다.

상세 분석

논문은 두 가지 주요 이론적 기여를 제시한다. 첫째, 기존에 quadratic loss에 대해서만 알려졌던 “sublevel set connectivity” 결과를 일반적인 convex L‑Lipschitz 손실로 확장한다. 이를 위해 저자는 ℓ₁ 정규화가 출력 가중치의 ℓ₁ 노름을 L/κ 이하로 제한한다는 보조 정리를 증명하고, 이 제한이 손실 함수가 출력 가중치에 대해 선형 보간 시 손실이 과도하게 상승하지 않도록 보장한다. 이후, 첫 번째 층 가중치를 고정한 상태에서 두 번째 층 가중치를 선형 경로로 연결하고, 필요에 따라 일부 뉴런을 “제거·재배치”하는 6단계 경로 구성을 제시한다. 특히 단계 (2)와 (5)에서 비선형적인 첫 번째 층 변형이 발생하지만, ReLU의 동차성 및 Lipschitz 연속성, 그리고 ℓ₁ 정규화에 의해 제어되는 출력 가중치 크기를 이용해 경로 상의 손실 상승을 C·α 형태의 상수항으로 제한한다. 여기서 α와 l(활성 뉴런 수)은 임의로 선택 가능하므로, 폭 m이 커질수록 α와 l을 충분히 작게 잡아 ε를 원하는 만큼 작게 만들 수 있다.

둘째, 폭 m이 무한대로 갈 때 ε가 0에 수렴한다는 정량적 속도 분석을 제공한다. 저자는 단위 구면 Sⁿ⁻¹에 대한 εₘ‑net을 구성하고, pigeonhole principle을 이용해 서로 가까운 뉴런 집합 Qₘ을 찾아낸다. 이 집합 내 뉴런을 순차적으로 제거하면서 발생하는 손실 변화 Δₖ를 Lipschitz 상수 L, 정규화 파라미터 κ, 그리고 뉴런 간 각도 차이 εₘ에 의해 O(L·|βₖ|·εₘ) 로 제한한다. εₘ를 m^{−η} 형태로 잡으면 전체 손실 상승은 O(m^{−ζ}) 로 수렴함을 보인다(0<ζ<1). 따라서 폭이 충분히 크면 모든 서브레벨 집합이 연결되고, 로컬 최소점이 실질적으로 사라진다.

실험에서는 synthetic moons 데이터와 Wisconsin Breast Cancer 데이터에 대해 Dynamic String Sampling(DSS) 기법을 이용해 모델 쌍 사이의 에너지 갭을 측정한다. 폭을 32, 64, 128, 256 등으로 늘릴 때 최대 갭이 현저히 감소하고, permutation test에서 pₚₑᵣₘ=0이라는 강력한 통계적 증거를 얻었다. 이는 이론적 결과가 실제 학습에서도 관찰된다는 점을 뒷받침한다.

전체적으로 논문은 “폭이 넓어질수록 손실 지형이 평탄해지고, 서브레벨 집합이 연결된다”는 직관을 엄밀히 수학화하고, Lipschitz convex 손실까지 일반화함으로써 기존 연구를 크게 확장한다. 특히 ℓ₁ 정규화와 ReLU의 동차성을 핵심 도구로 활용한 점이 새롭고, 실험적 검증까지 겸한 점이 강점이다. 다만, ℓ₁ 정규화가 실제 대규모 딥러닝에서 얼마나 일반적인지, 다층 네트워크로 확장 가능성 등에 대한 논의가 부족한 점은 향후 연구 과제로 남는다.