하이브리드 배치 베이지안 최적화

초록

본 논문은 가우시안 프로세스를 이용한 베이지안 최적화에서 순차적 정책과 배치 정책을 상황에 따라 동적으로 전환하는 하이브리드 알고리즘을 제안한다. 이 알고리즘은 현재 모델 불확실성 및 평가 비용을 고려해 배치 크기를 조절하고, 이론적 수렴 보장을 제공한다. 8개의 벤치마크 실험에서 순차적 방법 대비 최대 78%의 시간 절감 효과를 보였으며, 최적화 성능 저하 없이 효율성을 크게 향상시켰다.

상세 분석

베이지안 최적화(BO)는 고비용·고차원 검증 함수의 전역 최적점을 찾기 위해 확률적 모델(주로 가우시안 프로세스, GP)을 활용한다. 전통적인 BO는 한 번에 하나의 입력을 선택하고, 그 결과를 관측한 뒤 다음 후보를 결정하는 순차적 방식(sequential BO)을 사용한다. 이 방식은 매 단계마다 최신 관측 정보를 반영하므로 탐색·활용 균형을 최적화할 수 있지만, 실험 장비가 병렬 평가를 지원하는 경우 전체 실험 시간이 길어지는 단점이 있다. 반면 배치 BO는 한 번에 여러 후보를 제시해 동시에 평가함으로써 반복 횟수를 줄인다. 그러나 배치 내 후보들은 동일한 사전 모델에 기반해 선택되므로, 서로 간의 상관관계를 충분히 반영하지 못하면 중복된 정보가 발생하고, 탐색 효율이 저하될 위험이 있다.

이 논문은 이러한 두 접근법의 장단점을 정량적으로 분석하고, 상황에 따라 자동으로 전환하는 하이브리드 정책을 설계한다. 핵심 아이디어는 현재 GP의 예측 불확실성(예: 평균 예측 분산)과 배치 내 후보 간 상호 정보량(예: 상호 정보 감소량)을 동시에 고려하는 것이다. 불확실성이 높고 후보 간 상관관계가 낮은 경우에는 배치 크기를 확대해 병렬성을 극대화하고, 불확실성이 낮아지거나 후보 간 중복이 예상될 때는 순차적으로 전환하거나 배치 크기를 축소한다.

알고리즘 구현은 다음과 같이 구성된다. (1) 현재 GP 모델을 기반으로 획득 함수(acquisition function, 예: Expected Improvement, EI)를 계산한다. (2) 후보 집합을 순차적으로 확장하면서, 각 후보를 추가했을 때 전체 배치의 기대 정보량(gain)과 비용(시간·자원)을 추정한다. (3) 기대 정보량 대비 비용 비율이 사전에 정의된 임계값을 초과하면 배치를 종료하고, 남은 후보는 다음 반복에서 순차적으로 처리한다. 이 과정에서 배치 크기는 동적으로 변하며, 최적화 과정 전반에 걸쳐 자동 조정된다.

이론적 측면에서는 하이브리드 정책이 기존 순차 BO와 동일한 수렴 속도를 유지한다는 증명을 제공한다. 구체적으로, 배치 선택 단계에서 사용되는 기대 정보량 하한이 순차 선택의 기대 개선량을 하위 경계로 삼아, 전체 알고리즘이 무한히 진행될 경우 최적점에 수렴함을 보인다. 또한, 배치 크기 조절 메커니즘이 탐색·활용 균형을 유지하도록 설계되어, 과도한 배치로 인한 탐색 손실을 방지한다.

실험에서는 8개의 공개 베이지안 최적화 벤치마크(합성 함수, 하이퍼파라미터 튜닝, 로봇 제어 등)를 대상으로 순차 BO, 고정 배치 BO, 그리고 제안된 하이브리드 BO를 비교하였다. 평가 지표는 최적값에 도달하기까지의 총 실험 시간(배치 실행 횟수·평가 비용)과 최종 최적값의 품질이다. 결과는 하이브리드 BO가 평균 45%78%의 시간 절감을 달성하면서도 최종 최적값 차이는 13% 이내에 머물러, 순차 BO와 거의 동등한 성능을 보였음을 보여준다. 특히, 평가 비용이 높은 실험(예: 딥러닝 모델 하이퍼파라미터 최적화)에서 가장 큰 효율성을 발휘하였다.

이 논문의 기여는 (i) 순차와 배치 BO의 장점을 정량적으로 분석하고, (ii) 상황에 맞는 동적 전환 메커니즘을 설계했으며, (iii) 이론적 수렴 보장을 제공하고, (iv) 실험적으로 실용적인 속도·성능 향상을 입증했다는 점이다. 향후 연구에서는 다중 목표 최적화, 비정상적 비용 모델, 그리고 비가우시안 서프라이즈 함수에 대한 확장 가능성을 탐색할 여지가 있다.