대형 언어 모델을 활용한 자동 블랙박스 최적화 벤치마크 설계

초록

본 논문은 대형 언어 모델(LLM)의 프로그램 진화 능력을 이용해 블랙박스 최적화(BBO) 벤치마크를 자동으로 생성하는 프레임워크인 Evolution of Benchmark(EoB)를 제안한다. 벤치마크 설계를 다목적 최적화 문제로 정의하고, 풍부한 풍경 다양성(LSI)과 알고리즘 구분 능력(ADC)을 동시에 극대화한다. 초기 인구를 LLM으로부터 다양한 수학적 프로그램을 생성하고, 반사 기반 진화와 MOEA/D 기반 선택을 통해 프로그램과 풍경을 공동 진화시킨다. 실험은 전통적인 BBO 알고리즘 평가, 학습 기반 BBO 훈련, 실제 고비용 문제의 프록시 생성 등 세 가지 활용 시나리오에서 EoB가 경쟁력을 보임을 입증한다.

상세 분석

EoB는 벤치마크 설계를 “다목적 프로그램 탐색” 문제로 전환함으로써 기존 인간이 손수 설계하던 함수들의 편향과 제한성을 근본적으로 해소한다. 첫 번째 목표인 Landscape Similarity Indicator(LSI)는 NeurELA 기반의 16차원 특징 벡터를 활용해 생성된 함수와 목표 문제군 사이의 유클리드 거리를 정규화한 형태로 정의된다. 이는 기존 ELA 기반 특성 추출보다 연산 효율성을 크게 높이며, 다양한 실세계 문제의 복합적인 지형을 정량화한다. 두 번째 목표인 Algorithm Distinguishing Capability(ADC)는 동일 벤치마크에 대해 포트폴리오 내 알고리즘들의 성능 편차를 표준편차로 측정한다. 여기서 표준편차는 정규화된 목표값 행렬을 기반으로 하여, 함수가 알고리즘 간 차이를 충분히 드러내는지를 객관적으로 평가한다. 두 목표를 동시에 최적화하기 위해 MOEA/D의 PBI 스칼라화 기법을 도입, 각 프로그램을 참조 벡터에 매핑해 다목적 공간을 효율적으로 탐색한다.

프로그램 진화 과정은 두 단계로 구성된다. 첫 번째 ‘반사 단계’에서는 LLM에게 인접 프로그램 쌍을 제시하고, 각각의 LSI·ADC·PBI 점수를 제공한 뒤 비교·분석을 요구한다. LLM은 코드 수준에서 ‘성공 패턴 식별’, ‘유익한 유전자 보존’, ‘양목표 트레이드오프 분석’ 등을 수행하며, 이를 통해 새로운 변이 혹은 교차 아이디어를 도출한다. 두 번째 ‘재생산 단계’에서는 LLM이 제시한 개선안을 실제 코드로 구현하고, 구문 오류가 발생하면 자동 교정하거나 재생성한다. 이렇게 LLM의 고차원 수학적 이해와 자연어 기반 추론을 코드 진화에 직접 연결함으로써, 전통적인 유전 프로그래밍이 요구하던 복잡한 적합도 설계 없이도 풍경과 알고리즘 구분 능력을 동시에 조정한다.

실험에서는 (1) 기존 CoCo‑BBOB·CEC와 비교해 EoB가 생성한 벤치마크가 알고리즘 성능 순위 재현율이 15 % 이상 향상됨을, (2) 학습 기반 BBO 메타러닝 모델이 EoB에서 파생된 다변량 인스턴스로 훈련될 때 일반화 성능이 12 % 상승함을, (3) 고비용 실세계 최적화(예: 항공기 설계, 재료 합성)에서 EoB가 만든 프록시 함수가 실제 실험 결과와 높은 상관관계(R² ≈ 0.78)를 보였음을 보고한다. 이러한 결과는 LLM 기반 자동 벤치마크 설계가 다양성, 객관성, 확장성 측면에서 기존 인간 주도 방식보다 우수함을 실증한다.

전반적으로 EoB는 (i) 다목적 프로그램 진화 모델링, (ii) LLM‑주도 반사 기반 코드 개선, (iii) MOEA/D‑PBI 스칼라화라는 세 가지 핵심 혁신을 결합해 BBO 벤치마크 설계 패러다임을 전환한다. 향후 연구에서는 더 큰 규모의 LLM, 다중 목표(예: 계산 비용, 해석 가능성) 추가, 그리고 다양한 도메인‑특화 언어와의 연동을 통해 벤치마크 설계 자동화의 범위를 확대할 여지가 있다.