자연기울기 기반 CMAES 변형의 수렴 특성 분석

초록

본 논문은 순수 rank‑mu 업데이트를 사용하는 CMA‑ES가 가우시안 분포 파라미터 공간에서 자연기울기 하강을 수행한다는 최신 이론을 바탕으로, 새로운 파라미터‑공간 함수에 대한 자연기울기 방향으로 파라미터를 업데이트하는 변형 알고리즘을 제안한다. 특히 단조 함수와 볼록 2차 함수의 합성 형태인 monotonic convex‑quadratic‑composite 함수를 대상으로, 공분산 행렬이 원래 목적함수의 헤시안 역행렬에 비례하도록 적응되는 것을 증명하고, 적응 속도와 수렴 속도를 정량적으로 분석한다. 또한 유한 표본으로 자연기울기를 근사하는 확률적 버전을 제시하고, 시뮬레이션을 통해 이상적인 결정론적 알고리즘과 CMA‑ES와의 유사성을 실험적으로 검증한다.

상세 분석

이 연구는 최근 자연기울기(Natural Gradient, NG) 해석이 CMA‑ES의 순수 rank‑mu 업데이트와 동등함을 밝혀낸 결과를 출발점으로 삼는다. NG는 파라미터 공간에 정의된 리만 계량을 이용해 정보 기하학적으로 최적화 방향을 조정함으로써, 스케일과 회전 불변성을 자연스럽게 확보한다. 논문은 먼저 가우시안 분포의 평균 μ와 공분산 Σ를 파라미터화하고, 이 파라미터 공간에서 목표 함수 f(x) 대신 새로운 함수 Φ(μ,Σ)=E_{x∼N(μ,Σ)}