ε 샷건: ε 탐욕적 배치 베이지안 최적화 기법

초록

ε-샷건은 베이지안 최적화에서 배치(병렬) 평가를 위해 ε-탐욕 전략을 적용한 새로운 알고리즘이다. 첫 번째 후보점은 평균 예측값을 이용해 탐욕적으로 선택하거나, ε 확률로 무작위(또는 파레토 프론트)에서 선택한다. 이후 남은 q‑1개의 점은 첫 후보점을 중심으로 정규분포에서 샘플링하며, 표준편차는 해당 위치의 평균·불확실성·예상 기울기에 따라 동적으로 조정한다. 실험 결과, 합성 함수와 두 실제 문제에서 기존 최첨단 배치 BO 방법들과 동등하거나 우수한 성능을 보였다.

상세 분석

ε‑shotgun은 기존 배치 베이지안 최적화(BBO)에서 흔히 사용되는 “penalisation” 혹은 “hallucination” 방식과는 근본적으로 다른 접근법을 제시한다. 핵심 아이디어는 ε‑greedy 전략을 배치 설정에 그대로 적용하여, 첫 번째 포인트 x′₁을 선택할 때는 대부분(1‑ε) 모델의 평균 예측 µ(x) 를 최소화하는 탐욕적 선택을 하고, ε 비율로는 무작위 혹은 파레토 프론트 기반의 탐색을 수행한다. 이렇게 선택된 x′₁은 지역적인 함수 형태를 반영하는 스케일 파라미터 r에 의해 주변에 흩어지는 샘플을 생성한다.

스케일 r은 다음 식으로 정의된다:
r = |µ(x′₁) – f★| / L̃ + γ·σ(x′₁)/L̃,
여기서 f★는 현재까지 관측된 최솟값, σ는 예측 불확실성, L̃는 x′₁ 주변(길이 l)에서의 최대 기울기 ‖∇µ(x)‖, γ는 불확실성 가중치이다. 이 식은 두 가지 직관을 동시에 만족한다. 첫째, µ와 f★ 사이의 차이가 클수록(즉, 후보점이 현재 최적에서 멀수록) 더 넓은 탐색 범위를 제공한다. 둘째, 불확실성이 큰 영역에서는 σ가 크게 기여해 샘플이 더 퍼지게 된다. 결과적으로 급격히 변하는 지역에서는 샘플이 촘촘히 모여 지역 최적을 정밀 탐색하고, 평탄하거나 품질이 낮은 영역에서는 넓게 퍼져 전역 탐색을 촉진한다.

알고리즘 흐름은 다음과 같다.

1. ε‑greedy에 따라 x′₁을 선택한다.
   • ε‑S‑PF: 파레토 프론트(µ, σ²)에서 무작위 선택.
   • ε‑S‑RS: 전체 설계 공간 X에서 완전 무작위 선택.
   • ε = 0인 경우: µ 최소점 직접 선택.
2. L̃를 계산해 지역 최대 기울기를 추정한다.
3. r을 위 식으로 구하고, 정규분포 N(x′₁, r²I)에서 q‑1개의 점을 샘플링한다.
4. 배치 X′ = {x′₁, …, x′_q}를 반환하고 병렬 평가를 수행한다.

이 방법은 기존 BBO 기법이 직면한 두 가지 주요 문제를 해결한다. 첫째, 배치 크기가 커질수록 q‑dimensional acquisition 함수를 직접 최적화해야 하는 계산 복잡도가 급증한다. ε‑shotgun은 1‑D 평균 예측만을 사용해 첫 점을 정하고, 나머지는 확률적 샘플링으로 처리하므로 연산 비용이 O(q·d) 수준에 머문다. 둘째, 기존 “penalisation” 방식은 L̃를 전역 상수로 고정하거나, 불확실성을 충분히 반영하지 못해 평탄한 지역을 과도하게 억제한다. ε‑shotgun은 L̃를 각 배치 포인트마다 지역적으로 재계산하고, γ·σ 항을 포함해 불확실성을 직접 스케일에 반영함으로써 더 균형 잡힌 탐색‑탐욕 트레이드오프를 제공한다.

실험에서는 5~20 차원의 합성 벤치마크(Branin, Hartmann, Ackley 등)와 두 실제 문제(하이퍼파라미터 튜닝, 재료 설계)를 대상으로 q=4,8,16 등 다양한 배치 크기를 테스트했다. 성능 평가는 최적값 수렴 속도와 최종 최적값을 기준으로 했으며, ε‑shotgun(특히 ε‑S‑PF 변형)이 q‑EI, Kriging Believer, Local Penalisation 등 최신 BBO 기법을 대부분 능가하거나 동등한 결과를 보였다. 특히 고차원(>10) 문제에서 ε‑shotgun은 탐색 효율이 크게 향상돼, 제한된 평가 예산 하에서도 더 좋은 솔루션을 찾았다.

한계점으로는 (1) 스케일 파라미터 γ와 길이 l 같은 하이퍼파라미터가 문제마다 민감하게 작용할 수 있어 사전 튜닝이 필요하고, (2) 정규분포 샘플링이 경계 조건을 위반할 경우 클리핑 혹은 재샘플링이 필요하다는 점이다. 향후 연구에서는 자동 하이퍼파라미터 조정, 비정규(예: 라플라스) 분포를 이용한 샘플링, 그리고 다목적 최적화와의 연계가 기대된다.