동적 배치 베이지안 최적화

초록

본 논문은 베이지안 최적화에서 실험을 병렬로 수행할 수 있는 상황을 고려하여, 매 단계마다 배치 크기를 동적으로 결정하는 알고리즘을 제안한다. 순차적 정책(EI)에서 다음 실험들이 서로 거의 독립적일 때 이를 한 번에 요청함으로써 실행 시간을 크게 단축하면서도 최적화 성능은 거의 유지한다는 점을 보인다.

상세 분석

베이지안 최적화(BO)는 비용이 큰 함수의 전역 최적점을 찾기 위해 가우시안 프로세스(GP)를 사후 모델로 사용하고, 기대 향상(Expected Improvement, EI)과 같은 획득 함수를 통해 다음 실험 지점을 선택한다. 전통적인 BO는 순차적으로 하나씩 실험을 진행하므로, 실험 시간이 길거나 병렬 실행이 가능한 환경에서는 비효율적이다. 기존의 고정 크기 배치 BO는 순차적 정책을 근사하려 하지만, 배치 크기가 커질수록 선택 정확도가 떨어져 최적화 성능이 저하된다.

이 논문은 “다음 pₜ개의 실험이 서로 독립적이다”라는 관찰에 기반해 배치 크기를 동적으로 조정한다. 핵심 아이디어는 순차적 EI 정책이 선택한 첫 번째 후보 x₁을 실제로 실행하기 전에, 그 이후에 선택될 후보들의 EI 값을 상한값으로 추정한다는 것이다. 상한값은 x₁의 관측값을 가능한 최대값 M(또는 현재 최댓값 y_max에 일정 비율을 더한 값)으로 가정함으로써 계산한다. 이렇게 하면 x*₁이 실제 관측값에 관계없이 다른 후보들의 기대값 변화가 작을 경우, 즉 E