자기진화형 에이전트 기반 생성 엔진 최적화 시스템

초록

본 논문은 대형 언어 모델(LLM) 기반 생성 검색 엔진에서 콘텐츠가 답변에 포함되고 인용되는 정도를 극대화하는 “Generative Engine Optimization(GEO)” 문제를 다룬다. 기존 정적 휴리스틱이나 단일 프롬프트 최적화 방식은 엔진 변화에 취약하고 피드백 비용이 크게 든다. 이를 해결하기 위해 저자들은 MAP‑Elites 품질‑다양성 아카이브와 공동 진화하는 경량 서프라이즈(critic)를 결합한 자기진화형 에이전트 프레임워크인 AgenticGEO를 제안한다. 오프라인 사전 정렬을 통해 서프라이즈를 초기화하고, 실제 엔진과의 제한된 상호작용을 통해 아카이브와 서프라이즈를 공동 진화시킨다. 실험 결과, 14개 베이스라인 대비 평균 46.4% 향상을 달성했으며, 엔진 피드백을 전체의 41.2%만 사용해도 98.1% 성능을 유지한다.

상세 분석

AgenticGEO는 GEO 문제를 “콘텐츠‑조건부 제어”로 재정의한다. 기존 연구는 모든 문서에 동일한 재작성 전략을 적용하거나, 특정 엔진에 맞춘 규칙을 증류하는 방식에 머물렀다. 이러한 접근은 (1) 콘텐츠마다 최적 전략이 다를 수 있다는 점을 무시하고, (2) 엔진이 업데이트되면 과적합으로 성능이 급락한다는 두 가지 근본적인 한계를 가진다. AgenticGEO는 이러한 문제를 해결하기 위해 두 축의 혁신을 도입한다. 첫 번째는 MAP‑Elites 기반의 품질‑다양성(QD) 아카이브이다. 아카이브는 전략을 “품질”(점수)과 “다양성”(전략의 구조·스타일·의미적 차이) 두 차원에서 동시에 관리한다. 이를 통해 특정 콘텐츠에 가장 적합한 전략을 빠르게 검색할 수 있을 뿐 아니라, 엔진이 새로운 행동 양식을 보이더라도 기존 전략 집합이 충분히 다양해 적응이 가능하다. 두 번째는 공동 진화하는 서프라이즈(critic)이다. 서프라이즈는 경량 디코더‑전용 LLM에 MLP 값 헤드를 붙인 구조로, (쿼리, 원본 문서, 전략) 삼중 입력을 받아 엔진 피드백을 근사한다. 초기에는 GEO‑Bench에서 수집한 오프라인 선호 쌍을 이용해 사전 학습함으로써 실제 엔진 호출 없이도 전략의 기대 점수를 추정한다. 이후 온라인 단계에서 실제 엔진과의 제한된 상호작용을 통해 얻은 피드백을 리플레이 버퍼에 저장하고, 서프라이즈와 아카이브를 동시에 업데이트한다. 서프라이즈는 후보 전략을 필터링해 GE 호출을 최소화하고, 아카이브는 서프라이즈가 제공하는 가치‑다양성 게이트를 통해 새로운 전략을 삽입한다. 이 공동 진화 메커니즘은 “서프라이즈‑가이드 진화”라는 형태의 메타‑학습을 구현한다. 이론적으로 저자들은 공동 진화 과정이 √T 수준의 서브선형 레그레트 바운드를 만족한다는 정리를 제시한다. 실험에서는 두 개의 대표적인 생성 엔진(예: Google AI Overview, Perplexity AI)과 세 개 데이터셋을 사용해 14개 기존 방법(정적 휴리스틱, AutoGEO, RAID‑G‑SEO 등)을 모두 능가했다. 특히, 전체 피드백의 41.2%만 사용해도 98.1%의 성능을 유지한다는 점은 서프라이즈가 엔진 피드백을 효과적으로 대체한다는 강력한 증거다. 추가 분석에서는 (i) 아카이브 크기와 다양성 파라미터가 성능에 미치는 영향, (ii) 서프라이즈의 예측 정확도와 최종 GEO 점수 간의 상관관계, (iii) 도메인 전이 실험에서 사전 학습된 아카이브가 새로운 엔진·도메인에 빠르게 적응함을 확인했다. 전체적으로 AgenticGEO는 정적 전략 풀을 넘어, 지속적으로 진화하고 콘텐츠‑특화된 전략을 제공함으로써 비정형 블랙박스 엔진 최적화에 새로운 패러다임을 제시한다.