대형 학습률에서의 경사하강법 혼돈과 프랙탈 수렴 영역

초록

본 논문은 행렬 분해 문제에 대해 큰 학습률을 사용할 때 경사하강법이 보이는 혼돈 현상과 프랙탈 형태의 수렴 경계 를 정확히 분석한다. 스칼라‑벡터 팩터화에서 임계 학습률을 도출하고, 임계값 근처에서는 초기값에 따라 전역 최소점, 큰 노름·불균형 최소점 혹은 안장점 으로 수렴이 크게 달라짐을 보인다. ℓ₂ 정규화를 추가하면 수렴 경계가 프랙탈 구조를 띠며, 이론적으로 위상 엔트로피가 최소 log 3 이상임을 증명한다. 또한 직교 초기화 하위공간에서 일반 행렬 분해로 결과를 확장하고, 업데이트 맵의 다중‑접힘(covering) 특성이 혼돈을 야기함을 설명한다. 실험을 통해 깊은 네트워크에서도 동일 현상이 관찰된다.

상세 분석

이 논문은 먼저 스칼라 목표 y 를 두 벡터 u, v 의 내적 uᵀv 로 표현하는 가장 단순한 팩터화 모델을 분석한다. 손실 L(u,v)=½(uᵀv−y)² 에 대해 고정 학습률 η 를 갖는 경사하강법 업데이트 (u_{t+1},v_{t+1})= (u_t,v_t)−η∇L(u_t,v_t) 를 고려한다. 저자는 거의 모든 초기화 (ū, v̄) 에 대해 수렴이 가능한 최대 학습률 η* 을 명시적으로 구한다. 식 (3) 은 두 경우의 최소값을 취해 정의되며, 특히 |y|η<1 이면 수렴 영역 D_η 는 부등식 ‖u‖²+‖v‖²+q(‖u‖²+‖v‖²)²−16y(uᵀv−y)<8η 에 의해 거의 전역적으로 결정된다. 여기서 q(·) 는 제곱항을 포함하는 다항식이다.

임계 학습률 근처에서는 “민감도”가 극대화된다. 저자는 임계 η 하에서 경계 ∂D′_η 위의 임의의 점 θ 주변에 매우 작은 반경 ε 내에서 세 가지 서로 다른 초기화 θ′, θ″, θ‴ 를 선택할 수 있음을 보인다. 이들 초기화는 각각 (i) 전역 최소점 중 임의의 노름 γ 을 갖는 해, (ii) 다른 전역 최소점, (iii) 안장점으로 수렴한다. 따라서 무한히 작은 초기값 변화가 최종 모델의 규모·불균형·샤프니스에 큰 차이를 만든다.

ℓ₂ 정규화 λ>0 을 추가하면 상황이 더욱 복잡해진다. 정규화가 없는 경우 수렴 영역은 거의 전역적으로 부드러운 도메인이지만, 정규화가 있으면 경계가 자기유사적인 프랙탈 형태를 띤다. 저자는 대칭 감소 후 2차원 평면에 투사된 수렴 경계가 IFS(Iterated Function System)와 유사한 자기복제 구조를 이루며, 차원 ≈1.249 를 갖는 프랙탈 곡선으로 근사됨을 수치적으로 확인한다. 또한 정규화된 경우 경사하강법은 최소 거리 해와 최대 거리 해 사이에서 선택이 전환될 수 있는데, 이 전환 역시 임계 η 근처에서 초기값의 미세한 차이에 의해 결정된다.

다음으로 저자는 일반 행렬 분해 min_{U,V} ½‖UᵀV−Y‖_F²+λ(‖U‖_F²+‖V‖_F²) 에 대해 동일한 분석을 확장한다. 초기화가 UᵀU=VᵀV=I 와 같은 직교 조건을 만족하는 하위공간에 놓이면, 전체 시스템은 독립적인 스칼라 팩터화 문제들의 직교합으로 분해된다. 따라서 앞서 증명한 임계 학습률, 프랙탈 경계, 혼돈 현상이 이 고차원 문제에도 그대로 적용된다. 이는 흔히 사용되는 아이덴티티 초기화와 선형 잔차 네트워크에 직접적인 함의를 가진다.

혼돈의 근본 원인은 업데이트 맵 GD_η(θ)=θ−η∇L(θ) 가 “다중 접힘” 성질을 갖기 때문이다. 저자는 GD_η가 어떤 영역 C 를 자기 자신보다 큰 영역으로 다중 커버링한다는 사실을 보이며, 이때 경계가 불변이면 자기유사성이 자연스럽게 발생한다. 더 일반적으로 다항 활성함수를 가진 신경망에서도, 측정값이 0인 집합을 제외하면 각 연결 성분에서 GD_η가 커버링 맵이 됨을 증명한다. 이러한 구조는 위상 엔트로피 h(GD_η)≥log 3 을 보장하고, 이는 전통적인 리야푸노프 지수와 무관하게 혼돈을 나타내는 강력한 지표이다.

실험 부분에서는 (i) 스칼라·행렬 팩터화, (ii) 깊은 선형 및 비선형(ResNet, ReLU) 네트워크, (iii) 실제 이미지·텍스트 데이터셋에 대한 학습을 수행한다. 모든 실험에서 큰 학습률이 프랙탈 경계와 민감한 수렴 결과를 재현함을 확인한다. 특히, 동일한 학습률·정규화 파라미터 하에서 초기값을 미세하게 바꾸면 최종 모델의 일반화 성능이 크게 변동하는 현상이 관찰된다.

결론적으로, 이 연구는 “큰 학습률 = 빠른 수렴”이라는 직관을 부정하고, 임계 학습률 근처에서는 경사하강법이 본질적으로 예측 불가능한 혼돈 시스템으로 전이한다는 새로운 관점을 제공한다. 이는 기존의 암묵적 편향(균형성, 최소 노름, 평탄성) 이론이 적용되지 않으며, 학습률 선택이 모델의 최종 특성을 결정하는 핵심 요인임을 강조한다.