구조적 피드백으로 이끄는 자동 알고리즘 설계 LLaMEA SAGE

초록

본 논문은 LLaMEA 프레임워크에 코드 구조 정보를 활용한 피드백 메커니즘을 추가한 LLaMEA‑SAGE를 제안한다. 추출된 AST 기반 그래프·복잡도 특징을 서베이 모델에 학습시키고, SHAP을 이용해 성능에 가장 큰 영향을 미치는 특징을 식별한다. 식별된 특징은 자연어 형태의 변이 지시문으로 변환되어 LLM에게 전달되어, 이후 세대의 알고리즘 생성이 구조적으로 유리한 방향으로 편향된다. 실험 결과, 작은 제어 실험과 대규모 MA‑BBOB 벤치마크 모두에서 기존 LLaMEA 및 최신 AAD 방법보다 빠르고 높은 성능을 달성한다.

상세 분석

LLaMEA‑SAGE는 기존 LLaMEA가 순수히 최적화 성능(피트니스)만을 이용해 진화 과정을 제어하던 한계를 극복한다. 핵심 아이디어는 생성된 파이썬 알고리즘 코드를 추상 구문 트리(AST)로 변환하고, 이를 기반으로 그래프‑이론적 통계(노드·엣지 수, 평균·분산·엔트로피 등)와 전통적인 정적 복잡도 지표(사이클로매틱 복잡도, 함수 토큰 수 등)를 추출하는 것이다. 이렇게 얻어진 d 차원의 특징 벡터는 매 세대마다 아카이브에 저장되고, 일정 규모가 되면 XGBoost 기반 회귀 서베이 모델을 학습한다. 서베이 모델은 코드 구조와 실제 최적화 성능 사이의 비선형 관계를 근사하며, SHAP(Shapley Additive exPlanations) 분석을 통해 각 특징이 예측 성능에 미치는 기여도를 정량화한다. 가장 큰 절대 SHAP 값을 가진 특징을 선택하고, 그 부호에 따라 “증가” 혹은 “감소” 지시를 만든다. 예를 들어, 사이클로매틱 복잡도가 높은 경우 “복잡도를 낮추어라”라는 자연어 프롬프트가 기존 변이 프롬프트에 추가된다.

이러한 구조적 피드백은 LLM에게 코드 수준의 인덕티브 바이어스를 제공하면서도, LLM의 자유로운 코드 생성 능력을 제한하지 않는다. 즉, LLM은 제시된 방향성을 고려해 새로운 함수 정의, 제어 흐름, 변수 사용 등을 자유롭게 재구성할 수 있다. 실험 설계는 두 단계로 나뉜다. 첫 번째는 SBOX‑COST의 5개 단일 목표 함수(10차원)에서 200번 평가 예산으로 vanilla LLaMEA와 LLaMEA‑SAGE를 5번씩 반복하여 수렴 속도와 최종 A‑OCC 값을 비교한다. 두 번째는 GECCO‑MA‑BBOB 대회용 24개 함수(10차원)에서 5,000·d 평가 예산을 사용해 LLaMEA‑SAGE, vanilla LLaMEA, MCTS‑AHD, LHNS 네 가지 방법을 동일한 LLM(GPT‑5‑mini)과 동일한 인구·오프스프링 설정으로 5번씩 실행한다.

결과는 두드러진 차이를 보인다. 작은 실험에서는 LLaMEA‑SAGE가 평균 12 % 정도 더 빠르게 목표 성능에 도달했으며, 대규모 MA‑BBOB에서는 전체 평균 A‑OCC가 기존 방법보다 8 %~15 % 향상되었다. 특히 복잡도가 높은 함수에서 구조적 피드백이 큰 효과를 발휘했으며, SHAP 기반 지시가 없는 경우보다 변이의 다양성과 수렴 안정성이 동시에 개선되었다. 또한, 아카이브 기반 서베이 모델이 50 % 이상의 솔루션에 대해 예측 정확도(R² ≈ 0.62)를 유지했으며, 이는 피드백이 충분히 신뢰할 만한 정보를 제공함을 의미한다.

한계점으로는 서베이 모델 학습 비용이 아카이브가 커질수록 증가하고, SHAP 해석이 노이즈에 민감할 수 있다는 점을 들 수 있다. 또한, 현재는 파이썬 단일 파일 형태의 알고리즘에만 적용했으며, 복합적인 모듈 구조나 다른 프로그래밍 언어에 대한 일반화는 추가 연구가 필요하다.

전반적으로 LLaMEA‑SAGE는 코드 구조와 성능 사이의 숨은 상관관계를 활용해 LLM 기반 자동 알고리즘 설계의 탐색 효율성을 크게 향상시키는 실증적 증거를 제공한다.