동적 사전 활용 베이지안 최적화로 하이퍼파라미터 탐색 가속

초록

DynaBO는 사용자가 언제든지 제공하는 사전 정보를 시간에 따라 감쇠시키며 획득함수에 결합하는 새로운 베이지안 최적화 프레임워크이다. 사전의 유효성을 데이터‑기반 보호장치가 평가해 잘못된 사전은 자동으로 배제하고, 이론적 수렴 보장과 실험적 가속 효과를 동시에 제공한다.

상세 분석

본 논문은 기존 베이지안 최적화(BO) 기반 하이퍼파라미터 최적화(HPO)에서 사전(prior) 활용이 초기 단계에만 국한된다는 한계를 지적한다. 이를 극복하기 위해 제안된 DynaBO는 두 가지 핵심 메커니즘을 도입한다. 첫째, 사용자가 제공하는 사전을 획득함수 α에 가중치 형태로 곱하고, 시간 t에 따라 β/(t‑tₘ) 형태의 지수 감쇠를 적용한다. 이렇게 하면 최신 사전은 초기 탐색에 큰 영향을 미치지만, 반복이 진행될수록 사전의 영향은 자연스럽게 사라져 궁극적으로 기존 BO와 동일한 수렴성을 유지한다. 둘째, 사전이 오히려 탐색을 방해할 위험을 대비해 “보호장치(safeguard)”를 설계했다. 보호장치는 현재 서프라이즈 모델 ˆf와 별도 획득함수 ξ를 사용해 사전이 제안하는 영역과 현재 최적점 주변 영역의 기대 획득값을 샘플링해 비교한다. 기대값 차이가 사전 정의 임계값 τ 이상이면 사전을 수용하고, 그렇지 않으면 자동으로 배제한다. τ는 사용자가 선택할 수 있으며, 높은 τ는 보수적인 사전 수용, 낮은 τ는 적극적인 사전 활용을 의미한다.

이론적으로는 사전이 적절히 감쇠되므로 t→∞에서 α·π^{β/(t‑tₘ)} → α가 되며, 따라서 기존 BO의 수렴 보장을 그대로 이어받는다. 또한, 사전이 실제 최적점 근처에 집중될 경우 기대 획득값이 크게 증가하므로 수렴 속도가 가속된다. 반대로, 악의적인(또는 잘못된) 사전은 보호장치에 의해 조기에 차단되므로 최악의 경우에도 기존 BO와 동등한 성능을 유지한다는 “근접 확실 수렴(near‑certain convergence)”과 “적대적 사전 강인성(robustness to adversarial priors)”을 증명한다.

실험 부분에서는 다양한 공개 HPO 벤치마크(예: OpenML, NAS‑Bench, Hyperparameter Optimization for XGBoost 등)와 여러 사전 유형(정확한, 불확실한, 오도된)을 조합해 평가하였다. 결과는 DynaBO가 π‑BO, 기존 GP‑BO, 그리고 확률 회로 기반 방법보다 평균 12%25% 빠르게 최적 성능에 도달함을 보여준다. 특히, 사전이 정확할 때는 초기 1020 회 평가 내에 최적점에 근접하고, 사전이 오도될 경우 보호장치가 작동해 성능 저하를 최소화한다.

전체적으로 DynaBO는 (1) 동적 사전 삽입을 통한 인간‑중심 BO, (2) 사전 감쇠와 보호장치를 통한 이론적 수렴 보장, (3) 다양한 실험 설정에서 입증된 실용적 가속 효과라는 세 축을 성공적으로 결합한 프레임워크라 할 수 있다.