베이지안 최적화를 위한 순차적 몬테카를로 방법

이 논문은 함수 f의 전역 최대값을 찾는 문제를 다루며, 여기서 X ⊂ R^d는 유계로 가정된다. 이 연구에서는 기대 개선(EI) 기준을 사용하여 함수의 최적화를 수행한다. 많은 문헌에서 EI 알고리즘은 계산 비용이 높은 함수 최적화에 특히 효과적임을 보여주었다. 그러나 일반적인 프레임워크를 실제 컴퓨터 구현으로 전환하는 것은 어려운 문제이다. EI 기반 알고리즘의 주요 아이디어는 베이지안 접근법이며, f는 임의 과정 ξ의 샘플 경로로 간주된다. 이 연구에서는 ξ가 파라미터 θ ∈ Θ ⊆ R^s에 조건부로 가우시안 과정 분포를 갖는다고 가정한다. 주어진 사전 분포 π_0와 초기 평가 결과 ξ(X_1), ..., ξ(X_{n_0})을 통해, (이상화된) EI 알고리즘은 평가 점들의 시퀀스 X_{n_0+1}, X_{n_0+2}, ...를 생성한다. 이러한 접근법의 주요 난관 중 하나는 후验分布计算问题，这些问题用于选择评估点。本文提出了一种基于顺序蒙特卡洛（SMC）的方法来解决这一难题，并特别关注算法的数值复杂性控制。 论文中的主要贡献是提出了一个使用顺序蒙特卡洛(SMC)方法的算法框架。该框架在每个步骤n中构建加权粒子集G_n，使得P_i,j w'_n,i,j δ_γ_n,i,j → I,J π'_n，其中dπ'_n(γ)=˜g_n(x|θ)dλ(x)dπ_n(θ)，x∈X, θ∈Θ, γ=(θ,x)。该方法通过加权样本T_n和密度q_n构建G_n，并在每个步骤中重新加权、重采样和平移θ以生成新的粒子集T_{n+1}。 实验部分展示了SMC方法相对于经验贝叶斯方法的优势，特别是在处理复杂函数优化时的性能提升。实验结果表明，在Branin函数和Hartmann 6函数上，基于SMC的方法在长期迭代中表现优于固定参数的经验贝叶斯EI算法。这些发现为进一步系统化的大规模基准测试研究提供了希望。