무작위 부분공간 정규화 SGD의 고확률 수렴 분석 및 중량 꼬리 잡음에 대한 새로운 이론

초록

본 논문은 무작위 부분공간 SGD(RS‑SGD)의 고확률 수렴을 서브가우시안 잡음 하에서 증명하고, 중량 꼬리 잡음(p‑번째 모멘트만 유한) 상황에 적합한 무작위 부분공간 정규화 SGD(RS‑NSGD)를 제안한다. RS‑NSGD는 전체 차원 정규화 SGD보다 더 낮은 오라클 복잡도를 달성할 수 있음을 이론적으로 뒷받침한다.

상세 분석

본 연구는 고차원 비볼록 최적화 문제에서 매 iteration마다 저차원 무작위 부분공간에 투사된 그래디언트를 이용하는 방법을 체계적으로 분석한다. 먼저, 기존 문헌에서 기대값 기반으로만 제시된 RS‑SGD의 수렴성을 서브가우시안 잡음 가정(Assumption 2.4) 하에 고확률(1‑δ) 구간으로 확장한다. 핵심은 Haar‑무작위 직교 행렬 P_k가 만족하는 네 가지 성질을 이용해, 투사 연산 P_k P_kᵀ이 기대값으로 단위 행렬이 되도록 함으로써, 전체 차원 SGD와 동일한 ϵ‑stationary 점에 도달하기 위한 오라클 복잡도 O(d³ r Δ₀ L σ² ϵ⁻⁴) 를 유지한다. 여기서 μ는 Beta‑분포 기반의 정규화 상수로, r < d 일 때도 1/12 ≤ μ ≤ 1을 보장한다.

다음으로, 현대 딥러닝에서 흔히 관찰되는 중량 꼬리 그래디언트 분포를 다루기 위해, 정규화된 그래디언트 업데이트를 부분공간에 적용한 RS‑NSGD를 설계한다. 기존 NSGD는 전체 차원의 ‖g_k‖을 필요로 했으나, RS‑NSGD는 투사된 그래디언트 ‖P_kᵀ g_k‖만을 사용해 저차원 연산을 유지한다. 이때 잡음은 p‑번째 모멘트가 유한한(p‑BCM, Assumption 2.6) 정도만 가정한다. 논문은 두 가지 결과를 제공한다. (1) 기대값 기준 수렴률은 L‑smoothness와 p‑BCM 파라미터에 따라 O(ϵ⁻²) 혹은 O(ϵ⁻⁴) 수준으로, 기존 전체 차원 NSGD와 동등하거나 더 나은 복잡도를 보인다. (2) 고확률 수렴 분석에서는 마코프 부등식과 마팅게일 차이를 결합한 새로운 베르누이-마틴게일 기법을 도입해, δ에 대한 로그 의존성을 명시적으로 포함한 경계식을 도출한다. 특히, 정규화 연산이 비선형이므로 기존 RS‑SGD 분석을 그대로 적용할 수 없었으며, 이를 극복하기 위해 ‖P_kᵀ g_k‖의 하한을 Haar‑무작위성으로부터 확률적으로 보장하고, 그에 따른 역정규화 효과를 정밀히 추정하였다.

또한, 논문은 오라클 복잡도 관점에서 RS‑NSGD가 전체 차원 NSGD보다 r/d 비율만큼 비용을 절감할 수 있음을 정량화한다. 특히, p가 1에 가까울수록(즉, 잡음이 매우 무거운 꼬리를 가질수록) 정규화 효과가 크게 발휘되어, 기존 SGD가 발산할 위험이 있는 상황에서도 안정적인 수렴을 보장한다. 실험적 검증은 포함되지 않았지만, 이론적 결과는 대규모 분산 학습이나 메모리 제한 환경에서 부분공간 압축·전달 기법과 결합될 경우 실용적 이점을 제공한다는 점을 시사한다.