예측 보강 가우시안 프로세스 밴딧 최적화

초록

본 논문은 고비용의 실제 평가 오라클과 저비용의 머신러닝 예측 오라클, 그리고 사전 수집된 오프라인 데이터를 동시에 활용하는 새로운 베이지안 최적화 알고리즘 PA‑GP‑UCB를 제안한다. 두 오라클을 다중 출력 가우시안 프로세스로 모델링하고, 제어변량 추정기를 통해 예측 편향을 보정하면서 불확실성을 감소시킨다. 이론적으로는 기존 GP‑UCB와 동일한 서브리니어 누적 레그레트 속도를 유지하면서, 예측 품질과 오프라인 데이터 커버리지를 반영한 더 작은 상수 계수를 확보한다. 실험에서는 합성 베이지안 최적화 벤치마크와 인간 행동 데이터를 이용한 가설 평가 태스크에서 기존 방법보다 빠른 수렴을 보이며, 대형 언어 모델의 예측을 활용한 가설 생성에 유용함을 입증한다.

상세 분석

PA‑GP‑UCB는 두 종류의 정보원을 “고비용·정확도 높은 진짜 오라클”과 “저비용·편향 가능성이 있는 예측 오라클”으로 구분하고, 이들을 다중 출력(GP)으로 공동 모델링한다. 핵심은 제어변량(control‑variates) 추정식 µ_PA_t(x)=µ_true_t(x)−ρ_t(x)·σ_true_t(x)/σ_ML_t(x)·(µ_ML_t(x)−µ_ML,all_t(x))이다. 여기서 ρ_t(x)는 두 함수 사이의 사후 공분산을 표준편차로 정규화한 상관계수이며, GP 사후분포가 제공하는 최소 평균제곱오차(MSE) 선형 예측계수를 그대로 사용한다. 이 추정식은 예측값을 베이스라인으로 삼고, 실제 관측값과 예측값의 차이를 평균 0인 잔차로 보정함으로써 편향을 제거하고, 동시에 불확실성(분산)을 감소시킨다.

오프라인 단계에서는 ε‑net을 이용해 입력 공간을 균일하게 샘플링하고, 각 격자점에서 예측 오라클을 N번 반복 측정한다. 반복 측정을 통해 관측 노이즈를 η_ML^2/N로 감소시키고, 전역 GP(all)를 업데이트한다. 이 과정에서 얻어진 전역 사후분산 σ_ML,all_t(x)는 온라인 단계에서 사용되는 σ_ML_t(x)보다 작아지며, 두 분산의 비율을 R(0<R≤1)로 정의한다. R이 작을수록 오프라인 데이터가 예측 불확실성을 크게 줄였음을 의미한다.

온라인 단계에서는 매 라운드마다 위 제어변량 추정식을 기반으로 한 상한신뢰구간 φ_t(x)=µ_PA_t(x)+β_t·σ_PA_t(x)를 계산하고, 이를 최대화하는 x_t를 선택한다. 여기서 σ_PA_t(x)²=σ_true_t(x)²·