KL 기반 서베이트 모델 학습 스케줄 제어로 CMA‑ES 성능 향상

본 논문은 고비용 블랙박스 최적화 문제에서 널리 사용되는 Covariance Matrix Adaptation Evolution Strategy(CMA‑ES)의 샘플 복잡도를 감소시키기 위해 서베이트(대리) 모델을 도입하고, 그 학습 재시점을 KL 발산 기반으로 자동 제어하는 새로운 알고리즘 KL‑ACM‑ES를 제안한다. **1. 배경 및 동기** CMA‑ES는 순위 기반 적응형 진화 전략으로, 목적 함수의 스케일·단조 변환에 불변하고, 잡음·다중극값에 강인하지만, 목적 함수 평가가 비싼 경우 수천~수만 번의 평가가 필요해 실용성이 떨어진다. 이를 해결하기 위해 서베이트 기반 최적화가 제안되었으며, 대표적인 방법으로 s*‑ACM‑ES가 있다. s*‑ACM‑ES는 서베이트 모델을 일정 횟수(ˆn)마다 재학습하고, 하이퍼파라미터를 또 다른 CMA‑ES 루프를 통해 자동 조정한다. 그러나 학습 스케줄이 고정된 세대 수에 의존하기 때문에, 탐색 분포가 급격히 변할 경우 서베이트 오류가 급증해 최적화 효율이 저하된다. **2. KL‑ACM‑ES 핵심 아이디어** 논문은 서베이트 모델의 순위 오류가 현재 탐색 분포와 마지막 학습 시점의 분포 사이 KL 발산에 의해 상한이 존재한다는 이론적 근거를 제시한다. 구체적으로, 두 분포 P_θ와 P_θ′ 사이 KL(P_θ′‖P_θ) 가 작을수록 서베이트 모델 b_f의 일반화 오류 차이 |Err_{P_θ}(b_f) – Err_{P_θ′}(b_f)| 가 작으며, 이는 √KL 형태의 상한으로 표현된다. 또한, 순위‑SVM이 uniform loss stability 를 만족한다는 점을 이용해 경험적 오류와 일반화 오류 사이의 차이 역시 KL 발산과 샘플 수 q 에 의해 제어됨을 보인다. **3. 알고리즘 설계** KL‑ACM‑ES는 다음 절차로 동작한다. - **초기 학습**: 현재 탐색 분포 P_θ 로부터 샘플을 수집하고, Ranking‑SVM 기반 서베이트 b_f 를 학습한다. - **진화 단계**: CMA‑ES를 사용해 P_θ 를 업데이트하여 P_θ′ 로 이동한다. - **KL 검사**: KL(P_θ′‖P_θ) 를 계산한다. 이 값이 사전에 정의한 임계값 KL_thr 를 초과하면 서베이트 모델을 재학습한다(즉, 새로운 훈련 집합을 수집하고 Ranking‑SVM을 다시 실행). - **하이퍼파라미터 튜닝**: 서베이트 학습에 필요한 α (정규화 파라미터, 제약 수 등)는 별도의 CMA‑ES 루프를 통해 최소화한다. 이 과정은 기존 s*‑ACM‑ES와 동일한 구조를 유지하면서, 학습 스케줄을 “분포 변화량”에 기반해 동적으로 조절한다. **4. 이론적 분석** - *정리 1* (KL 기반 오류 상한): |Err_{P_θ}(b_f) – Err_{P_θ′}(b_f)| ≤ c_k √{KL(P_θ′‖P_θ)}. 여기서 c_k = 2√{2 ln 2} 로, KL 발산이 0이면 오류 차이도 0이다. - *정리 2* (Uniform loss stability): Ranking‑SVM은 uniform loss stability 를 만족하므로, 경험적 오류와 일반화 오류 사이의 차이는 β_q 와 샘플 수 q 에 의존한다. 이를 KL 발산과 결합하면, KL_thr 이하일 때 서베이트의 경험적 오류가 허용 오차 E_rr^adm 이하로 유지된다는 결론을 얻는다. **5. 실험 설정 및 결과** - **벤치마크**: HFRA09a/b 등 30개의 Ill‑conditioned 함수(조건수 10⁴~10⁶)와 고정밀 BFGS가 강점인 부드러운 함수들을 포함. 차원은 10, 20, 30 등 다양. - **비교 대상**: 기본 CMA‑ES, s*‑ACM‑ES, 최신 서베이트 기반 변형, 그리고 quasi‑Newton BFGS. - **평가 지표**: 평균 최적값 도달 횟수, 함수 평가 수, 최종 목표값 오차, 그리고 성공률(목표 오차 이하 도달 비율). - **주요 결과**: KL‑ACM‑ES는 평균 평가 수를 25 %~35 % 절감하면서도 최종 오차를 기존 방법보다 10 %~20 % 개선했다. 특히 조건수가 큰 함수에서 BFGS가 수렴하지 못하는 경우에도 KL‑ACM‑ES는 안정적으로 수렴하였다. 또한, 학습 스케줄이 자동으로 조절되어 불필요한 서베이트 재학습이 최소화되었으며, 전체 실행 시간도 감소하였다. **6. 논의 및 한계** - KL 발산 계산은 Gaussian 분포에 대해 닫힌 형태가 존재하지만, 비정규 분포에서는 근사적 샘플 기반 추정이 필요하다. - KL_thr 값은 문제 특성에 따라 조정이 필요하며, 현재는 경험적 튜닝에 의존한다. - 서베이트 모델로 Ranking‑SVM을 사용했지만, 다른 순위 학습기(예: Gradient Boosted Trees)에도 동일한 프레임워크를 적용 가능하다. **7. 결론 및 향후 연구** KL‑ACM‑ES는 “분포 변화량”을 정량적으로 측정해 서베이트 모델의 재학습 시점을 결정함으로써, 기존 고정 스케줄 방식보다 효율적이고 안정적인 블랙박스 최적화를 구현한다. 제안된 KL 기반 제어는 Gaussian 외의 다른 확률 모델에도 일반화될 수 있어, 향후 다양한 진화 전략 및 메타휴리스틱에 적용될 가능성이 크다. 향후 연구에서는 KL_thr 자동 적응 메커니즘, 비정규 분포에 대한 효율적 KL 추정, 그리고 서베이트 모델의 다중 후보군 선택을 통한 탐색‑활용 균형 최적화 등을 탐색할 예정이다.