탐욕이 최적화한다: 베이지안 최적화의 탐색·활용 균형

본 논문은 베이지안 최적화(Bayesian Optimisation, BO)에서 사용되는 다양한 획득함수들을 탐색‑활용 트레이드오프의 파레토 전선 관점에서 체계적으로 분석하고, 새로운 ε‑greedy 기반 획득함수를 제안한다. 1. **배경 및 문제 정의** BO는 제한된 예산 하에서 고비용 함수를 최적화하기 위해 서러게이트 모델(주로 가우시안 프로세스, GP)을 구축하고, 이 모델의 예측 평균 μ(x)와 예측 분산 σ²(x)를 이용해 다음 평가 지점을 선택한다. 기존 연구에서는 Expected Improvement(EI), Upper Confidence Bound(UCB), Probability of Improvement(PI) 등 여러 획득함수가 제안되었으며, 각각 탐색과 활용을 다른 방식으로 균형 잡는다. 그러나 이러한 함수들이 실제로 탐색·활용 목표를 동시에 만족하는 파레토 최적점에서 선택되는지에 대한 명확한 분석은 부족했다. 2. **다중목적 최적화 관점** 저자는 μ와 σ를 각각 활용도와 불확실성으로 해석하고, 두 목표를 동시에 고려하는 다중목적 최적화 문제로 전환한다. 파레토 전선은 “μ와 σ가 동시에 개선되지 않는 점들의 집합”으로 정의되며, 비지배 점은 어느 한쪽이라도 더 나은 점이 존재하지 않는다. 이 전선을 기반으로 후보 집합에서 최적점을 선택하는 전략을 설계한다. 3. **기존 획득함수의 파레토 특성 분석** - **UCB**: α_UCB(x)=μ(x)+β·σ(x) 형태이며, β≥0이면 μ와 σ가 동시에 증가할 때 α_UCB도 증가한다. 따라서 UCB는 항상 파레토 전선 상의 비지배 점을 선택한다. - **EI**: α_EI(x)=σ(x)