회귀 기반 단일점 제로오더 최적화: 빠른 수렴을 위한 새로운 프레임워크

초록

**
본 논문은 기존 단일점 제로오더(​SZO​) 방법이 갖는 높은 추정 분산과 느린 수렴 속도를 극복하기 위해, 과거 함수 평가 데이터를 회귀로 활용해 선형·이차 대리 함수를 구축하고 그 기울기를 이용하는 ReSZO 프레임워크를 제안한다. 선형 버전(L‑ReSZO)는 이론적으로 두점 ZO와 동등한 수렴 속도를 보이며, 실험에서는 함수 호출 횟수 기준으로 2~3배 빠른 수렴을 확인한다.

**

상세 분석

**
ReSZO는 “역사적 함수값을 재활용한다”는 간단하지만 강력한 아이디어에 기반한다. 기존 SZO는 매 반복마다 현재 점 (x_t) 에서 단일 함수값 (f(x_t+\delta u_t)) 만을 사용해 무작위 방향 (u_t) 에 대한 차분 추정량을 만든다. 이때 과거 ( {f(x_k+\delta u_k)}_{k<t}) 는 완전히 버려지며, 이는 데이터 효율성을 크게 저해한다. ReSZO는 이러한 데이터를 선형(또는 이차) 회귀에 투입해 (f) 의 로컬 근사 (f_s(x)=f(\hat x_t)+g_t^\top(x-\hat x_t)) (또는 (f_s(x)=f(\hat x_t)+g_t^\top(x-\hat x_t)+\frac12(x-\hat x_t)^\top H_t(x-\hat x_t)))를 만든다. 여기서 (\hat x_t=x_t+\delta_t u_t) 이며, (g_t) 와 (H_t) 는 최근 (m) 개의 샘플을 이용한 최소제곱 해로 얻어진다.

핵심 설계는 두 가지다. 첫째, 슬라이딩 윈도우 회귀를 사용해 매 반복마다 전체 히스토리를 재계산하지 않고 최신 (m) 샘플만으로 모델을 업데이트한다. 이는 (O(d^2)) 연산으로 행렬 역을 갱신할 수 있게 해, 고차원에서도 실용성을 확보한다. 둘째, 적응형 스무딩 반경 (\delta_t=|x_t-x_{t-1}|) 을 도입해 현재 기울기 크기에 따라 탐색 폭을 자동 조절한다. 고정 (\delta) 는 수렴 한계 (O(\delta)) 에 머무를 위험이 있지만, 적응형 스키마는 (\delta_t) 을 점차 감소시켜 높은 정밀도를 얻는다.

이론적 분석에서는 선형 버전(L‑ReSZO)의 비볼록 및 강볼록 경우에 대해 비동적 상수 (C_d=O(d)) (실험에서는 (O(\sqrt d)) 에 가깝다) 를 곱한 복잡도 (O(C_d d/\epsilon)) 를 증명한다. 이는 기존 두점 ZO (O(d/\epsilon)) 와 동일한 차수이며, 단일 함수 호출만으로 달성한다는 점이 혁신적이다.

실험에서는 베이지안 최적화, 강화학습 정책 파라미터 튜닝, 고차원 신경망 가중치 최적화 등 다양한 베이스라인을 대상으로, 함수 호출 수 기준으로 두점 ZO보다 2~3배 빠른 수렴을 관측했다. 특히, 함수 평가 비용이 높은 시뮬레이션 환경에서 ReSZO는 샘플 효율성을 크게 향상시킨다.

한계점으로는 회귀 모델의 품질이 (m) 과 (\delta) 설정에 민감하다는 점이다. (m) 이 차원보다 작으면 행렬이 병렬되지 않아 불안정해질 수 있고, (\delta) 가 지나치게 크면 모델 편향이 커진다. 또한, 이차 버전(Q‑ReSZO)은 추가적인 (O(d^2)) 연산과 메모리를 요구해 고차원에서는 실용성이 떨어진다. 향후 연구에서는 자동 (m) 선정, 정규화 회귀, 그리고 비선형 대리 모델(예: 커널 회귀) 도입이 기대된다.

**