대형 언어 모델로 적응형 획득 함수 선택하기

초록

본 논문은 사전 학습된 대형 언어 모델(LLM)을 제로샷 전략가로 활용해 베이지안 최적화(Bayesian Optimization) 과정에서 매 반복마다 가장 적합한 획득 함수를 자동으로 선택하는 LMABO 프레임워크를 제안한다. 최적화 상태를 구조화된 텍스트 프롬프트로 직렬화하고, LLM이 이를 종합적으로 판단해 포트폴리오 내 AF를 선택한다. 50개의 벤치마크 실험에서 정적·적응형 기존 방법 및 다른 LLM 기반 베이스라인을 크게 능가함을 보이며, 상태 정보 전체를 활용한 전략이 탐색·활용 균형을 동적으로 조절함을 확인한다.

상세 분석

LMABO는 기존 적응형 포트폴리오 방법이 “과거 함수값”에만 의존하는 한계를 극복하기 위해, LLM이 인간 전문가와 유사한 추론 능력을 활용한다는 점에서 혁신적이다. 핵심 아이디어는 최적화 진행 상황을 ‘프로세스 상태, 성능 히스토리, GP 하이퍼파라미터’ 세 가지 카테고리로 정리한 텍스트 요약 Sₜ 을 매 반복마다 LLM에 제공하고, 사전 정의된 출력 형식(“Acquisition abbreviation: Justification”)에 따라 최적의 획득 함수를 선택하도록 하는 것이다.

1. 상태 직렬화 설계

   • 프로세스 상태: 현재 평가 횟수 N, 남은 예산 N_rem, 문제 차원 D 등을 제공해 예산 관리와 탐색·활용 시점을 판단하게 한다.
   • 성능 히스토리: 현재 최적값 f_min, 관측값 범위, 마지막 평가점과 기존 점들 간 최소 거리 등을 포함해 진행 속도와 탐색 강도를 파악한다.
   • GP 모델 특성: 커널 출력 스케일과 길이 스케일(최소·최대·평균·표준편차) 정보를 제공함으로써 함수의 복잡도와 매끄러움을 LLM이 인식하도록 한다.

   이 세 요소를 모두 포함했을 때만 성능이 최상이며, 어느 하나라도 제거하면 성능이 급격히 저하된다는 실험적 증거가 제시된다(표 2).

2. 제로샷 프롬프트 설계
   초기 프롬프트 P₀ 는 LLM에게 “베이지안 최적화 전문가” 역할을 부여하고, 사용 가능한 AF 포트폴리오와 상태 요약 형식을 명시한다. 이후 매 반복 t 마다 Sₜ 을 P₀ 에 추가해 Pₜ 를 구성하고, LLM에게 “가장 적합한 AF를 선택하고 이유를 제시하라”는 명령을 내린다. 이 과정은 파인튜닝 없이도 LLM이 사전 학습된 지식을 활용해 합리적인 결정을 내리게 만든다.

3. 알고리즘 흐름

   • GP Gₜ₋₁ 을 최신 데이터 Dₜ₋₁ 에 맞춰 학습
     - Sₜ 생성 → Pₜ 구성 → LLM Ψ 에 전달
   • LLM이 반환한 AF αₜ 를 사용해 xₜ 최적화(내부 최적화 루프)
   • 실제 함수 f(xₜ) 평가 후 Dₜ 갱신

   이 순환 구조는 기존 BO 루프에 최소한의 오버헤드(프롬프트 생성·LLM 호출)만 추가한다.

4. 실험 설계 및 결과

   • 벤치마크: COCO·BoTorch synthetic 30개 + Bayesmark 실세계 하이퍼파라미터 20개, 총 50개 문제.
   • 비교 대상: 정적 AF 12종, 무작위·교대·두 단계 전략, GP‑Hedge·No‑PAST‑BO·SETUP‑BO·ESP 등 기존 적응형 포트폴리오, 그리고 LLAMBO·LLMP 같은 최신 LLM 기반 방법.
   • 평가 지표: 최종 최적값, 누적 regret, 평균 성능 향상률.
   • 핵심 발견: LMABO는 모든 베이스라인 대비 평균 ≈ 12% 성능 향상을 보였으며, 특히 예산이 제한된 상황(≤ 50 iteration)에서 탐색·활용 전환을 더 효율적으로 수행했다. LLM 기반 베이스라인은 LMABO에 비해 상태 정보를 충분히 활용하지 못해 일관된 이점을 내지 못했다.

5. 전략 분석

   • 초기 단계에서는 LLM이 모든 상태 정보를 고르게 활용해 탐색 중심 전략을 선택한다.
   • 중간 단계에서는 성능 히스토리와 남은 예산이 주요 판단 근거가 되며, 탐색·활용 비율을 동적으로 조정한다.
   • 최종 단계에서는 현재 최적값과 남은 예산만을 고려해 급격한 exploitation으로 전환한다.

   이러한 행동 양식은 인간 전문가가 “진행 상황에 따라 탐색을 늘리거나 줄인다”는 직관과 일치한다.

6. 한계 및 향후 연구

   • 현재는 GP 기반 서프라이즈 모델에 국한되며, 딥러닝 기반 서프라이즈(예: BNN)와의 연계는 미탐색.
   • LLM 호출 비용이 실시간 시스템에 부담이 될 수 있어, 경량화된 로컬 LLM이나 캐시 전략이 필요하다.
   • 프롬프트 설계가 도메인에 따라 민감할 수 있어, 자동 프롬프트 최적화 기법이 향후 연구 과제로 남는다.

결론: LMABO는 LLM을 “전략적 조정자”로 활용해 BO의 핵심 의사결정인 획득 함수 선택을 실시간, 전역적인 상태 정보를 기반으로 수행한다. 실험 결과는 기존 방법을 뛰어넘는 성능을 입증하며, LLM이 복합적인 최적화 상황을 이해하고 인간 수준의 정책을 생성할 수 있음을 보여준다.