라이브러리 기본값이 베이지안 최적화 초기화에 미치는 영향은 없다

초록

베이지안 최적화(BO)에서 초기 샘플을 라이브러리 기본 하이퍼파라미터를 중심으로 한 가우시안 분포에서 추출해도, 무작위 균등 초기화와 비교해 수렴 속도나 최종 성능에서 통계적으로 유의미한 차이를 보이지 않는다.

상세 분석

본 논문은 머신러닝 라이브러리(예: scikit‑learn)가 제공하는 기본 하이퍼파라미터가 실제 최적화 과정에서 유용한 사전 지식으로 작용할 수 있는지를 실증적으로 검증한다. 이를 위해 저자들은 초기 샘플을 “기본값 중심의 절단 가우시안 분포”에서 추출하는 전략을 설계하고, 이를 기존의 균등 무작위 초기화와 직접 비교하였다. 실험은 세 가지 BO 프레임워크(BoTorch, Optuna, Scikit‑Optimize), 세 가지 모델 군(Random Forest, SVM, MLP), 다섯 개 데이터셋(분류·회귀 혼합)으로 구성된 45개의 조건에서 수행되었다. 성능 평가는 초기 수렴 속도와 전체 예산 소진 후의 최종 예측 정확도(또는 RMSE)로 정의하고, 각 조건에서 기본값 기반 초기화가 무작위보다 우수할 확률을 일방향 이항 검정으로 검증하였다. 결과는 p‑값이 0.141~0.908 사이로, 전혀 유의미한 차이를 보이지 않았다.

민감도 분석에서는 가우시안 분포의 분산을 조절해 초기 샘플이 기본값에 얼마나 밀집되는지를 변화시켰다. 분산을 작게 하면 초기 몇 회차에서 약간의 성능 향상이 관찰되었으나, 이는 곧 사라지고 전체 최적화 과정에서는 무작위 초기화와 동일한 수준에 수렴하였다. 이는 기본값이 “안전한 기본 설정”은 제공하지만, 최적화 목표 함수의 전역 구조를 탐색하는 데 필요한 정보는 제공하지 못한다는 것을 시사한다.

또한, 논문은 GP 기반 BO에서 초기 샘플이 특정 영역에 과도하게 집중될 경우, 해당 영역 주변의 불확실성이 급격히 감소해 탐색이 억제되는 위험을 이론적으로 설명한다. 실험 결과는 이러한 현상이 실제로 발생함을 보여주며, 초기화 단계에서의 편향이 오히려 탐색 효율을 저해할 수 있음을 강조한다.

결론적으로, 라이브러리 기본값을 활용한 초기화는 별도의 메타러닝 인프라 없이 손쉽게 적용할 수 있는 장점이 있지만, BO의 성능을 향상시키는 실질적인 효과는 없으며, 오히려 초기 탐색을 제한할 위험이 있다. 따라서 실무에서는 기본값에 의존하기보다 데이터‑드리븐한 사전 지식(예: 이전 최적화 결과)이나 메타러닝 기법을 활용하는 것이 바람직하다.