진화형 AI 에이전트 효율을 높이는 적응형 모델 선택

초록

본 논문은 진화형 에이전트가 반복적인 코드 생성·수정 과정에서 대형 LLM을 과다 사용함으로써 발생하는 계산 비용 문제를 해결하고자, 작은 모델의 출력에 내재된 토큰‑레벨 신뢰도(엔트로피) 지표를 활용해 실시간으로 모델 전환 여부를 판단하는 적응형 라우팅 프레임워크 AdaptEvolve을 제안한다. 경량 의사결정 트리와 온라인 Hoeffding 트리를 결합한 라우터는 최소 50개의 워밍업 샘플만으로 초기 규칙을 학습하고, 진화 과정 중 발생하는 개념 드리프트에 자동으로 적응한다. 실험 결과 LiveCodeBench와 MBPP 두 코드 베치마크에서 평균 37.9%의 비용 절감과 상위 대형 모델 정확도의 97.5% 수준을 유지함을 보이며, 비용‑성능 측면에서 기존 정적 라우팅 및 전통적 모델 캐스케이드보다 우수한 파레토 프론티어를 형성한다.

상세 분석

AdaptEvolve은 기존 진화형 코딩 에이전트(OpenEvolve, AlphaEvolve 등)가 모든 변이 단계에서 동일한 LLM을 사용함으로써 발생하는 비효율성을 근본적으로 재구성한다. 핵심 아이디어는 “내재된 불확실성”을 정량화하는 네 가지 토큰‑레벨 메트릭(LGC, MC, TC, BWC)을 계산하고, 이를 입력 특징 벡터 C(x)로 변환한 뒤, 이진 라우터 Φ(C) ∈ {0, 1}가 작은 모델(MS, 4B)과 큰 모델(ML, 32B) 사이의 선택을 제어하도록 하는 것이다.

1. 불확실성 메트릭 설계

   • Token Confidence(cᵢ)는 상위 k 토큰 로그 확률의 평균 부호 반전값으로 정의돼, 값이 낮을수록 엔트로피가 높아 모델이 불확실함을 의미한다.
   • Mean Confidence(MC)는 전체 시퀀스 평균, Lowest Group Confidence(LGC)는 가장 불확실한 연속 윈도우, Tail Confidence(TC)는 마지막 W 토큰의 평균, Bottom‑K% Confidence(BWC)는 상위 K % 윈도우 평균을 각각 측정한다. 이러한 다중 스케일 지표는 “전역‑지역” 불확실성을 동시에 포착한다.

2. 경량 라우터 구현

   • 초기 워밍업 단계(N = 50)에서 MS와 ML을 모두 호출해 라벨 yᵢ(“해결 가능 여부”)를 부여하고, Gini impurity와 최대 깊이 5인 결정 트리를 학습한다. 이는 복잡한 비선형 관계(예: 낮은 MC와 높은 LGC 조합)를 빠르게 캡처한다.
   • 온라인 환경에서는 Adaptive Hoeffding Tree(HAT)를 사용해 스트림 데이터에 대한 개념 드리프트를 실시간으로 감지하고, 노드 분할 기준을 재조정한다. 드리프트가 감지되면 해당 서브트리를 가지치기·재성장시켜 라우터가 진화 과정 중 점점 복잡해지는 문제에 적응한다.

3. 연산 비용 모델링

   • 비용 단위는 32B 호출 1 unit, 4B 호출 0.125 unit으로 정규화하였다. 라우터가 MS를 선택하면 비용이 크게 절감되지만, 불확실성이 높은 단계에서는 ML로 전환해 정확도 손실을 최소화한다.

4. 실험 설계 및 결과

   • 벤치마크: LiveCodeBench v5(880 샘플)와 MBPP(974 샘플) 두 코드 생성 데이터셋을 사용해 정확도(모든 테스트 케이스 통과 여부)와 총 비용을 측정했다.
   • 비교 대상: 순수 Small(4B), 순수 Large(32B), Random Routing, Static Decision Tree, Cascading Baseline(Chen et al., 2023) 등을 포함했다.
   • 핵심 지표: 비용 대비 정확도 비율(Eff = Acc/Cost)와 Pareto Frontier. AdaptEvolve은 Small : Large 비율을 42 : 58(LiveCodeBench) 및 85 : 15(MBPP) 정도로 동적으로 조정해, 비용을 34 %~41 % 절감하면서 정확도는 97 % 이상 유지했다. 특히 HAT 기반 라우터는 정적 트리 대비 정확도가 2.4 %p 상승하고, 효율 점수는 35.4 → 132.3(베이스라인 대비 2배 이상)으로 크게 개선했다.

5. 제한점 및 향후 과제

   • 토큰‑레벨 로그 확률을 제공하지 않는 폐쇄형 API에서는 적용이 불가능하다는 실용적 제약이 있다.
   • 현재는 코드 생성에 초점을 맞췄지만, 자연어 요약·질문응답 등 다른 도메인에 일반화하려면 메트릭 튜닝이 필요하다.
   • 라우터가 과도하게 Large 모델을 호출하는 경우 비용 절감 효과가 감소하므로, 라우터의 비용‑정밀도 트레이드오프를 다중 목표 최적화 프레임워크와 결합하는 연구가 기대된다.

전반적으로 AdaptEvolve은 “내재된 불확실성 → 라우팅 결정 → 비용 절감”이라는 명확한 인과 흐름을 제시함으로써, 진화형 에이전트가 대규모 LLM에 과도 의존하지 않으면서도 고성능을 유지할 수 있는 실용적인 솔루션을 제공한다.