외부 솔루션을 활용한 CMA‑ES 강화 전략

초록

본 보고서는 CMA‑ES에 외부 후보 해를 주입하는 방법을 제시한다. 주입된 해가 지나치게 큰 변동을 보일 경우, 마할라노비스 거리 기반 클리핑과 단계‑크기 제한을 통해 안정성을 확보한다. 이를 통해 최적화 속도가 최대 2배까지 향상될 수 있으며, 품질이 낮은 해를 주입해도 알고리즘 성능에 큰 손해가 없음을 확인하였다.

상세 분석

CMA‑ES는 다변량 정규분포를 이용해 후보 해를 샘플링하고, 적응적으로 평균·공분산·단계‑크기(σ)를 업데이트한다. 기존 알고리즘은 내부에서 생성된 샘플에만 의존하도록 설계돼 있어, 외부에서 임의로 삽입된 해가 분포와 크게 벗어나면 적응 메커니즘이 파괴되고 수렴이 급격히 저하된다. 논문은 이 문제를 “큰 단계”를 엄격히 정규화하는 두 가지 핵심 조치로 해결한다.

첫째, 주입된 해 (x_i) 를 마할라노비스 거리 (|C_t^{-1/2}(x_i-m_t)|) 로 측정하고, 임계값 (c_y \approx \sqrt{n}+2) 를 초과하면 길이를 클리핑한다(식 3). 이는 정상적인 샘플이 갖는 기대 거리와 거의 일치하므로, 대부분의 주입 해는 거의 변형되지 않으며, 극단적인 경우에만 조정된다.

둘째, 평균 이동에 사용되는 (\Delta m) 도 동일한 클리핑 절차(식 6)를 거쳐 제한한다. 이렇게 하면 평균이 급격히 이동해도 공분산 업데이트가 과도하게 왜곡되지 않는다. 또한 단계‑크기 조정식(식 11)에서 허용되는 최대 변화 (\Delta_{\max}^{\sigma}) 를 1.0 이하로 설정해, σ가 급격히 감소하거나 증가하는 것을 방지한다.

주입 방식은 크게 두 종류로 나뉜다. (1) 부분 주입 – 전체 λ 중 일부만 외부 해로 교체. 이 경우 기존 파라미터를 그대로 사용해도 충분히 안정적이며, 클리핑만으로 성능 저하를 억제한다. (2) 전체 주입 – 모든 샘플을 외부 해로 대체. 이 경우 알고리즘은 ‘적응 인코딩(adaptive encoding)’ 형태가 되며, 단계‑크기 제어가 핵심 역할을 한다.

또한, 최우수 해를 매 반복마다 재주입하면 가중 다중 재조합을 이용한 엘리티스트 변형이 자연스럽게 도출된다. 이는 기존 CMA‑ES의 무작위성에 엘리트 선택을 결합한 형태로, 다중모드 문제에서 탐색 효율을 높인다.

실험에서는 구형 함수와 Rosenbrock 함수에 대해 단일 고품질 외부 해를 주입했을 때 수렴 속도가 약 2배 가속되는 것을 확인했다. 반대로 품질이 낮은 해를 주입해도 평균 성능 저하는 미미했으며, 최악의 경우에도 단계‑크기 감소 제한 덕분에 급격한 발산을 방지했다.

결론적으로, 외부 해 주입을 위한 핵심은 (i) 마할라노비스 거리 기반 클리핑, (ii) 단계‑크기 변화 제한, (iii) 평균 이동 시 동일한 정규화 적용이다. 이 세 가지 조치만으로 CMA‑ES는 외부 정보(그라디언트, 뉴턴 스텝, 서브레이트 모델, 복구 메커니즘 등)를 효과적으로 활용할 수 있다.