대규모 언어 모델로 자동 최적화 테스트 문제 설계

초록

본 논문은 대규모 언어 모델(LLM)을 활용해 목표 ELA(Exploratory Landscape Analysis) 특성 벡터에 맞는 연속 최적화 테스트 함수를 자동으로 생성하는 프레임워크 EoTF(Evolution of Test Functions)를 제안한다. LLM 기반 진화 검색으로 파이썬 구현의 함수 코드를 생성하고, 샘플링된 ELA 특징과 목표 벡터 간 거리를 최소화한다. 24개의 BBOB 함수와 24개의 MA‑BBOB 하이브리드 함수를 대상으로 실험했으며, 2‑D와 3‑D 차원에서 기존 NN 기반 생성기보다 높은 스케일러빌리티와 해석 가능성을 보였다.

상세 분석

EoTF는 기존 벤치마크 생성 방식의 한계를 극복하기 위해 LLM을 “코드 생성기”로 활용한다는 점에서 혁신적이다. 먼저 목표 ELA 특성 벡터 ϕ*를 정의하고, 이를 근사하는 함수 f를 찾기 위해 LLM에게 파이썬 함수 형태의 코드를 제시한다. 진화 과정은 초기화, 탐색, 변이 연산자로 구성되며, 각 연산자는 LLM에게 프롬프트 형태로 전달된다. 중요한 점은 생성된 함수가 인간이 읽을 수 있는 심볼릭 표현이라는 점이다. 이는 NN 기반 생성기가 제공하는 불투명한 가중치 매개변수와 달리, 수학적 구조를 직접 분석하고, 그래디언트, 커버리지, 곡률 등을 이론적으로 검증할 수 있게 한다.

실험에서는 BBOB와 MA‑BBOB에서 추출한 48개의 목표 함수에 대해 2‑D와 3‑D 차원에서 250·D 샘플을 이용해 ELA 특징을 측정하였다. EoTF가 생성한 함수는 평균 Euclidean 거리 기준으로 목표와 0.07 이하의 차이를 보였으며, 최적화 알고리즘(예: CMA‑ES, DE, PSO) 간 순위 변동도 원본 함수와 거의 동일했다. 이는 생성된 벤치마크가 실제 알고리즘 성능을 보존한다는 강력한 증거다.

또한, 차원 증가에 따른 스케일러빌리티를 평가했을 때, NN 기반 방법은 3‑D에서 성능 저하가 뚜렷했으나, EoTF는 차원에 무관하게 동일한 파이썬 코드(벡터화 연산)만으로 확장이 가능했다. 이는 LLM이 생성한 심볼릭 표현이 차원 독립적이며, numpy의 브로드캐스팅을 활용해 자동으로 고차원 입력을 처리할 수 있기 때문이다.

한계점으로는 LLM의 프롬프트 설계와 변이 연산자의 설계가 아직 경험적이며, 모델에 따라 생성 품질이 달라진다. Gemini 2.0 Flash, 2.5 Flash, 3.0 Flash를 비교했을 때 최신 모델이 더 낮은 ELA 거리와 더 빠른 수렴을 보였지만, 비용과 지연 시간이 증가한다. 또한, 목표 함수와 유사한 논문이 LLM 학습 데이터에 포함될 경우 “데이터 오염” 위험이 존재한다는 점을 논문에서 언급하고 있다.

전반적으로 EoTF는 해석 가능하고, 포터블하며, 차원 확장성이 뛰어난 벤치마크 생성 방법으로, 메타‑블랙박스 최적화 연구에 필요한 다양하고 균형 잡힌 테스트 세트를 자동으로 제공한다는 점에서 큰 의미를 가진다.