멀티에이전트 컨텍스트 압축으로 시스템 코드 최적화 혁신

초록

ContextEvolve는 요약, 내비게이터, 샘플러라는 세 가지 전문 에이전트를 통해 코드 최적화 과정의 컨텍스트를 압축·구조화한다. 이를 RL의 상태표현, 정책그라디언트, 경험재생과 동형시켜 파라미터 업데이트 없이도 높은 탐색 효율을 달성한다. ADRS 벤치마크에서 기존 진화 기반 방법보다 33.3% 성능 향상과 29.0% 토큰 절감을 기록했다.

상세 분석

본 논문은 대형 언어 모델(LLM)을 활용한 시스템 코드 자동 최적화에서, 파라미터 업데이트가 불가능한 API‑only 환경을 전제로 한다. 기존 테스트‑타임 강화학습(RL)은 파라미터 미세조정이 필요해 실용성이 떨어지고, AlphaEvolve·CAMEL 등 무학습 진화 기법은 컨텍스트 누적으로 인한 토큰 폭증과 비효율적인 탐색이 문제점이다. ContextEvolve는 이러한 한계를 “컨텍스트 압축”이라는 새로운 차원에서 접근한다.

핵심 아이디어는 최적화 컨텍스트를 세 개의 직교 차원—(1) Semantic State(코드 의미 요약), (2) Optimization Direction(성능 향상 방향), (3) Experience Distribution(우수 사례 재현)—으로 분리하고, 각각을 전용 에이전트가 담당하도록 설계한 것이다.

1. Summarizer Agent는 부모 코드와 자식 코드의 차이를 자연어 추상으로 변환한다. 이를 위해 LLM에 “Summarize(parent abstract, child code)” 프롬프트를 전달해 고밀도 텍스트 요약(z_c)을 생성한다. 요약은 코드 구조, 알고리즘 핵심, 변형 포인트를 포함해, 제한된 컨텍스트 윈도우에 풍부한 정보를 담는다.

2. Navigator Agent는 과거 트래젝터리(코드·성능 변화)를 가중 샘플링하고, Δs(성능 차이)를 기준으로 “일관적 향상”, “혼합 변동”, “일관적 감소” 세 카테고리로 구분한다. 각 카테고리에서 m개의 트래젝터리를 추출해 “GradientAgent” 프롬프트에 입력, 텍스트 형태의 방향성(g_t)을 도출한다. 이는 정책 그라디언트 추정에 해당하며, 불필요한 탐색을 억제하고 고수익 영역을 집중한다.

3. Sampler Agent는 현재 부모 추상(z_p)와 내비게이터가 제공한 방향(g_t)을 고려해, 다양성(diversity)·가치(value)·관련성(relevance)을 최적화하는 소수의 샘플을 선택한다. 선택된 샘플은 “few‑shot” 예시로 컨텍스트에 삽입돼, LLM이 새로운 코드를 생성할 때 강력한 참고 자료가 된다. 이는 RL의 Prioritized Experience Replay과 동등한 역할을 수행한다.

이 세 에이전트가 생성한 (z_p, g_t, E_ctx)를 Compose 연산으로 결합해 Φ_t를 만든 뒤, LLM M_θ에 “Generate code given Φ_t” 프롬프트를 전달한다. 생성된 코드 c_c는 즉시 자동 평가기(E)로 점수 s_c를 받으며, 그 결과는 다음 라운드의 Summarizer와 Replay Buffer에 저장된다.

알고리즘 1은 전통적인 진화 파이프라인에 RL 요소를 삽입한 형태이며, 파라미터 업데이트 단계(Δθ ← ∇θ …)는 실제 구현에서는 가상 연산으로 처리돼, 실제 모델 가중치는 변하지 않는다. 즉, “함수적 동형(isomorphism)”을 통해 RL의 샘플 효율성을 텍스트 레벨에서 재현한다.

실험에서는 ADRS(Artificially Designed Research Systems) 벤치마크의 5개 도메인(데이터베이스 인덱싱, 네트워크 패킷 처리, 분산 스케줄링 등)에서 기존 무학습 진화 기법 대비 평균 33.3% 높은 성능을 보였으며, 전체 토큰 사용량은 29.0% 감소했다. 토큰 절감은 요약·방향·샘플링이 각각 평균 10~12%씩 기여한 것으로 분석된다.

한계점으로는 (1) 에이전트 간 프롬프트 설계가 도메인에 민감해 튜닝 비용이 발생, (2) 현재는 단일 LLM에 의존해 에이전트 간 정보 교환이 텍스트 기반이므로 지연이 존재한다는 점을 들 수 있다. 향후 연구에서는 멀티모달 메모리와 비동기 에이전트 통신을 도입해 실시간성 및 확장성을 강화할 여지가 있다.