ImprovEvolve 로 LLM 기반 진화 최적화 혁신

초록

ImprovEvolve는 AlphaEvolve의 한계를 극복하기 위해 최적화 프로그램을 “생성·개선·교란” 세 가지 메서드로 분리한다. LLM은 각 메서드만 설계하면 되므로 인지 부하가 감소하고, 진화 과정에서 MAP‑Elites와 베이시스‑호핑을 결합해 높은 품질의 해를 빠르게 찾는다. 저자는 헥사곤 포장과 두 번째 자기상관 부등식 두 벤치마크에서 기존 최첨단 결과를 능가함을 실험으로 입증한다.

상세 분석

ImprovEvolve는 기존 AlphaEvolve가 “전체 최적화 파이프라인을 하나의 프로그램으로 진화”하는 방식을 재구성한다. 구체적으로, 진화 대상 클래스를 Python 인터페이스( generate_config, improve, perturb )로 제한함으로써 LLM이 수행해야 할 작업을 세 개의 독립적인 서브태스크로 나눈다. generate_config는 무작위 시드에 따라 유효한 초기 해를 생성하고, improve는 주어진 해를 지역적으로 개선하며, perturb는 강도 σ에 따라 해를 무작위로 교란한다. 이러한 모듈화는 LLM이 수학적 구조와 휴리스틱을 활용해 각 메서드를 설계하는 데 집중하도록 하여, 복잡한 초기화·탐색·종료 조건을 동시에 설계해야 하는 인지적 부담을 크게 줄인다.

알고리즘 1은 두 단계 검증 스킴을 제시한다. Stage A에서는 K개의 서로 다른 시드로 generate_config와 improve를 연속 실행해 가장 높은 적합도를 가진 초기 해 x*를 선택한다. 이는 초기 베이시스 선택에 대한 민감도를 완화한다. Stage B는 베이시스‑호핑을 변형한 루프이며, σ를 σ_max에서 σ_min까지 기하급감시키는 스케줄을 사용해 초기에는 큰 교란으로 전역 탐색을, 후반에는 작은 교란으로 미세 조정을 수행한다. 각 교란 후 improve를 호출하고, monotonic acceptance (T=0) 원칙에 따라 개선된 경우에만 현재 최적 해를 교체한다. 이 과정은 전통적인 베이시스‑호핑과 동일하지만, 교란·지역 최적화 연산 자체가 LLM에 의해 진화된 맞춤형 함수이므로 문제 특성에 최적화된 탐색이 가능하다.

진화 엔진은 GigaEvo 프레임워크 위에 MAP‑Elites를 적용한다. 행동 설명자는 적합도 하나이며 150개의 빈으로 이산화한다. 각 세대에서 elite 프로그램을 선택하고, LLM 기반 변이 연산자를 통해 자식 프로그램을 생성한다. 변이 연산자는 InsightsStage와 LineageInsights를 활용해 부모·자식 코드 차이를 분석하고, 적합도 변화를 피드백한다. 초기 프로그램은 Gemini 3 Pro로 5개를 자동 생성하고, 이후 진화는 비용 효율이 높은 Gemini 3 Flash Preview로 수행한다.

실험에서는 두 가지 고난이도 수학 최적화 문제를 사용한다. 첫 번째는 정육각형 안에 n개의 작은 정육각형을 최대 밀도로 배치하는 헥사곤 포장 문제이며, 11, 12, 15, 16개의 헥사곤에 대해 새로운 최첨단 L값을 기록했다. 인간이 약간 편집한 변형을 통해 14, 17, 23개의 경우에서도 개선을 달성했다. 두 번째는 두 번째 자기상관 부등식(autocorrelation inequality)이며, 인간이 편집한 프로그램이 0.96258이라는 새로운 하한을 제시해 AlphaEvolve의 0.96102를 능가했다.

계산 비용 측면에서 헥사곤 포장은 3n 차원의 제약 최적화이며 단일 머신에서 약 10시간, 자기상관 부등식은 수만 차원의 L‑BFGS 최적화를 포함해 약 40시간이 소요된다. 이는 베이시스‑호핑 라운드 수 R을 조절해 평가 비용과 해 품질 사이의 트레이드오프를 가능하게 한다.

핵심 기여는 (1) 최적화 프로그램을 모듈화된 인터페이스로 재정의해 LLM의 설계 부담을 감소시킨 점, (2) 진화 외부 루프와 내부 베이시스‑호핑 루프를 결합해 효율적인 전역·국부 탐색을 구현한 점, (3) 실제 수학적 베이스라인을 넘어서는 실험적 증명을 제공한 점이다. 이 접근법은 복잡한 수학 최적화뿐 아니라, 물리·공학 설계 등 고차원 비선형 문제에도 일반화 가능성이 높다.