적응형 제로차 최적화가 왜 효과적인가

초록

본 논문은 함수값의 표준편차를 이용해 그래디언트 추정치를 정규화하는 적응형 제로차(Zero‑Order) 최적화 기법을 이론적으로 분석한다. 표준편차가 고확률로 실제(확률적) 그래디언트 노름과 비례함을 보이고, 이를 기반으로 일반화된 ((L_0,L_1))-스무스성(H‑노름) 하에서 결정론적·확률적 설정 모두에 대해 수렴 속도와 쿼리 복잡도 상한을 제시한다. 결과적으로 적응형 ZO는 고정 스텝의 기존 ZO보다 빠른 수렴과 적은 함수 호출을 달성한다.

상세 분석

이 논문의 핵심 기여는 두 가지이다. 첫째, 적응형 ZO에서 사용되는 표준편차 (\sigma_t)가 실제 그래디언트 (|\nabla f(x_t)|)와 고확률에서 거의 비례한다는 정량적 관계를 증명한다. 구체적으로, (\sigma_t^2)의 기대값이 (|\nabla f(x_t)|^2)에 상수 배만큼 차이 나는 것을 보이고, 마코프·체비쇼프 부등식을 이용해 (\sigma_t) 자체가 (|\nabla f(x_t)|)와 ((1\pm\varepsilon)) 범위 안에 들어감을 확률적 경계로 제시한다. 이는 “평탄한 영역에서는 표준편차가 작아지고, 그에 따라 스텝 사이즈를 확대한다”는 직관을 수학적으로 정당화한다.

둘째, 이러한 정규화가 ((L_0,L_1))-스무스성 조건(특히 H‑노름 기반 일반화) 하에서 어떻게 수렴 속도를 개선하는지를 분석한다. 기존 ZO는 (\alpha)와 고정 학습률 (\eta)에 의존해 (O(d/\sqrt{T})) 정도의 비탄젠트 수렴률을 보이지만, 적응형 ZO는 (\eta_t = \eta / \sigma_t) 형태로 동적 스텝을 적용함으로써 효과적인 학습률이 (\eta \cdot |\nabla f(x_t)|^{-1}) 로 스케일링된다. 논문은 이를 바탕으로
\