베이지안 최적화를 위한 포트폴리오 할당

초록

베이지안 최적화에서 다양한 획득 함수를 동시에 활용하기 위해 온라인 다중 팔 밴딧 전략을 적용한 포트폴리오 방법을 제안한다. 제안된 GP‑Hedge는 여러 획득 함수의 성능을 동적으로 조합하여 개별 함수보다 높은 수렴 속도와 최적 해 품질을 보이며, 이론적 성능 경계도 제공한다.

상세 분석

본 논문은 베이지안 최적화(Bayesian Optimization, BO)의 핵심 요소인 획득 함수(acquisition function)의 선택 문제가 실험 성능에 미치는 영향을 심도 있게 탐구한다. 기존 연구에서는 Expected Improvement(EI), Probability of Improvement(PI), Upper Confidence Bound(UCB) 등 여러 파라미터화된 획득 함수가 제안되었지만, 어느 함수를 선택해야 하는지는 문제 특성에 따라 크게 달라진다. 저자들은 이러한 불확실성을 해소하기 위해 포트폴리오 접근법을 도입한다. 구체적으로, 각 획득 함수를 하나의 ‘팔(arm)’로 간주하고, 매 반복마다 어느 팔을 선택할지 결정하는 온라인 다중 팔 밴딧(Multi‑Armed Bandit, MAB) 알고리즘을 적용한다. 여기서 사용된 밴딧 전략은 Hedge 알고리즘의 변형으로, 각 팔에 대한 가중치를 지수적으로 업데이트하며, 가중치에 비례해 선택 확률을 부여한다. 이 과정에서 각 획득 함수가 제공하는 후보 점의 기대 보상은 실제 목표 함수값과의 차이로 측정된다.

제안된 GP‑Hedge는 두 단계로 구성된다. 첫 번째 단계는 현재 가우시안 프로세스(GP) 모델을 기반으로 모든 후보 획득 함수를 평가해 각각의 최적 후보 점을 도출한다. 두 번째 단계에서는 Hedge 메커니즘을 통해 어느 후보 점을 실제 실험에 사용할지 결정한다. 이렇게 함으로써, 탐색(exploration)과 활용(exploitation) 사이의 균형을 동적으로 조정할 수 있다. 특히, Hedge의 학습률 파라미터 η는 이론적 분석을 통해 최적값이 제시되며, 이는 전체 알고리즘의 regret bound에 직접적인 영향을 미친다.

이론적 측면에서 저자들은 GP‑Hedge의 누적 regret을 기존 단일 획득 함수 기반 BO와 비교하여 상한을 도출한다. 핵심 정리는 “GP‑Hedge의 regret은 가장 좋은 단일 획득 함수의 regret에 상수 배만큼 추가된다”는 형태이며, 이는 포트폴리오가 최악의 경우에도 개별 최적 함수보다 크게 뒤처지지 않음을 보장한다. 또한, 가우시안 프로세스 모델 자체의 수렴 속도와 밴딧 전략의 수렴 속도가 서로 독립적으로 작용한다는 점을 강조한다.

실험 부분에서는 합성 함수(Branin, Hartmann)와 실제 하이퍼파라미터 튜닝 문제(신경망, SVM)에서 GP‑Hedge가 기존 EI, PI, UCB 등 단일 획득 함수보다 평균적으로 더 빠른 수렴과 낮은 최적값을 기록한다. 특히, 초기 단계에서 탐색 중심의 UCB가, 후반부에서는 활용 중심의 EI가 각각 높은 가중치를 받는 동적 전환 현상이 관찰된다. 이는 포트폴리오가 문제의 진행 상황에 맞춰 자동으로 전략을 조정한다는 실증적 증거이다.

결론적으로, 이 논문은 베이지안 최적화에서 획득 함수 선택의 불확실성을 포트폴리오와 온라인 밴딧이라는 두 개의 강력한 메커니즘으로 해결한다는 점에서 의미가 크다. 이 접근법은 기존 BO 프레임워크에 최소한의 추가 비용만으로 적용 가능하며, 다양한 응용 분야에서 더욱 견고하고 효율적인 최적화 성능을 기대할 수 있다.