효율적 전역 최적화의 수렴 속도와 기대 개선 알고리즘의 한계

본 논문은 “효율적 전역 최적화(efficient global optimization, EGO)”라는 문제를 수학적으로 정형화하고, 특히 기대 개선(Expected Improvement, EI) 기반 베이지안 최적화 알고리즘의 수렴 특성을 심도 있게 분석한다. 문제 설정은 컴퓨팅 비용이 높은 목적 함수 f: X→ℝ을 최소화하는 것으로, X는 ℝ^d의 콤팩트 집합이며 관측은 무노이즈이다. 이때 알고리즘이 선택하는 설계점 x_n과 현재 추정 최소점 x_n^*는 이전 관측에만 의존하도록 정의한다. 목표는 단순 후회 f(x_n^*) − min f를 가능한 빨리 0에 가깝게 만드는 것이다. **1. 기대 개선 알고리즘과 가우시안 사전** EI는 베이지안 최적화에서 가장 널리 쓰이는 획득 함수이다. 저자는 f를 평균 μ, 분산 σ², 상관 커널 K_θ를 갖는 정적 가우시안 프로세스(π)로 모델링한다. 여기서 θ는 길이‑스케일, ν는 커널 매끄러움 파라미터이며, K는 연속·적분 가능하고 푸리에 변환 b_K가 등방성·비증가인 등 여러 수학적 가정을 만족한다. 이러한 커널은 매트른(Matern) 계열과 가우시안(ν=∞) 커널을 포함한다. **2. 고정 사전 하에서의 수렴 속도** 고정된 π에 대해, EI는 매 단계에서 기대 개선량 E