순위 기반 제로오더 최적화의 명시적 비점근적 복잡도 분석

초록

본 논문은 순위 기반 제로오더 알고리즘을 대상으로, L‑스무스·μ‑강하게 볼록 함수에 대해 $\widetilde O!\left(\frac{dL}{\mu}\log\frac{dL}{\mu\delta}\log\frac1\varepsilon\right)$, 비볼록 스무스 함수에 대해 $O!\left(\frac{dL}{\varepsilon}\log\frac1\varepsilon\right)$ 의 명시적 비점근적 쿼리 복잡도를 고확률(1−δ) 하에 제공한다. 기존의 드리프트·정보기하 분석을 배제하고, 순위 정보와 “음의 샘플” 활용을 통해 기존 값 기반 ZO와 동등한 수렴 속도를 보인다.

상세 분석

이 논문은 순위 기반 제로오더(Zero‑Order) 최적화가 가진 강건성—노이즈와 단조 변환에 무관함—을 이론적으로 뒷받침하기 위해, 가장 단순한 형태의 알고리즘을 설계하고 그 수렴 특성을 비점근적으로 분석한다. 핵심 아이디어는 $N$개의 가우시안 탐색 방향 $u_i\sim\mathcal N(0,I_d)$을 생성하고, 동일한 스케일 $\alpha$ 로 변형한 후보점 $x_t+\alpha u_i$ 를 순위 오라클에 전달해 함수값 순서를 얻은 뒤, 상위 $N/4$개의 “좋은” 방향에 양의 가중치 $w_k^+$, 하위 $N/4$개의 “나쁜” 방향에 음의 가중치 $w_k^-$ 를 부여해 전체 탐색 방향 $d_t=\sum_k w_k u_k$ 를 만든다. 이때 $w_k$는 “log weight”와 같은 가중치 스킴을 사용하거나, 단순히 평균 가중치 $4/N$ 를 적용해도 이론적 복잡도에 큰 차이가 없음을 보인다.

분석은 먼저 고확률 사건 $E_{t,1}\sim\cdots\sim E_{t,5}$ 를 정의한다. $E_{t,1}$ 은 스무스 오차 $|d(x_t+\alpha u_k,x_t)|\le C_{d,\delta}L\alpha^2$ 를 보장하고, $E_{t,2}$ 은 선택된 $N/2$개의 가우시안 벡터가 가진 스펙트럼 노름을 제한한다. $E_{t,3}$ 은 모든 선택된 방향과 현재 그라디언트 $\nabla f(x_t)$ 사이의 내적이 충분히 큰(또는 작은) 값을 갖는 확률을 보장한다. $E_{t,4},E_{t,5}$ 는 각각 상위와 하위 $N/4$ 샘플이 실제로 하강·상승 방향임을 확률적으로 증명한다. 이러한 사건들의 결합을 통해 $\langle\nabla f(x_t),d_t\rangle<0$ 를 얻으며, 이는 $d_t$ 가 실제 하강 방향임을 의미한다.

수렴 분석에서는 L‑스무스와 μ‑강볼록성을 이용해 \