단순 베이스라인, 코드 진화와 맞먹는 성능

초록

이 논문은 복잡한 코드 진화 파이프라인과 비교했을 때, 두 가지 단순 베이스라인(무작위 IID 샘플링과 순차 조건부 샘플링)이 수학적 경계 탐색, 에이전트 스캐폴드 설계, 머신러닝 대회 등 세 분야에서 동등하거나 우수한 성과를 보임을 실증한다. 실험을 통해 검색 공간 설계와 프롬프트에 포함된 도메인 지식이 성능 상한을 결정한다는 점을 강조하고, 작은 데이터셋으로 인한 평가 변동성을 줄이기 위한 평가 방법론과 향후 코드 진화 연구를 위한 베스트 프랙티스를 제시한다.

상세 분석

본 연구는 코드 진화가 “LLM을 이용해 기존 코드를 변형·교배·재조합하는” 복합 파이프라인임을 전제로, 이러한 파이프라인이 실제로 복잡성에 비해 실질적인 이득을 제공하는지 검증하고자 두 가지 단순 베이스라인을 설계하였다. 첫 번째는 IID Random Sampling (IID RS)으로, LLM에 문제를 제시하고 독립적으로 코드를 생성한 뒤, 실행 결과 중 최적을 선택한다. 두 번째는 Sequential Conditioned Sampling (SCS)으로, 초기 세대의 성공적인 프로그램을 일부 선택해 프롬프트에 포함시켜 다음 세대를 생성하고, 필요 시 전체를 재시작한다. 두 방법 모두 명시적인 적합도 기반 선택 없이 단순히 실행 결과에 의존한다는 점에서 기존 코드 진화 파이프라인과 차별화된다.

실험은 세 가지 도메인에서 진행되었다. (1) 수학적 경계 탐색에서는 9개의 문제(분석·조합·기하)에서 AlphaEvolve와 ShinkaEvolve(오픈소스 구현)를 기준으로 $20 예산 하에 비교했다. 결과는 SCS가 6/9, IID RS가 4/9 문제에서 ShinkaEvolve를 능가하거나 동등한 성능을 보였으며, 평균 순위에서도 두 베이스라인이 상위에 위치했다. 특히 프롬프트에 포함된 도메인 지식(예: 초기 프로그램의 형태)과 검색 공간 정의가 성능에 결정적 영향을 미쳤으며, 동일 검색 공간 내에서는 파이프라인 차이가 미미했다. (2) 에이전트 스캐폴드 설계에서는 작은 검증 데이터셋(≈100개)으로 인해 높은 변동성이 발생, 복잡한 진화 파이프라인이 과적합된 스캐폴드를 선택하는 반면, 단순 다수결 스캐폴드가 가장 안정적인 성능을 보였다. 이는 평가 비용을 낮추면서도 충분히 다양한 샘플을 확보하는 평가 설계가 필요함을 시사한다. (3) 머신러닝 대회에서는 시간 제한이 주요 제약이었으며, 베이스라인은 병렬 실행이 가능해 전체 실행 시간이 크게 단축되었다. 비용 대비 효율성 측면에서도 베이스라인이 ShinkaEvolve보다 우수했다.

이러한 결과를 통해 저자들은 (i) 검색 공간 설계와 프롬프트에 담긴 도메인 지식이 코드 진화 성공의 핵심이며, (ii) 복잡한 선택·재조합 메커니즘이 반드시 성능 향상을 보장하지 않으며, (iii) 평가 단계에서의 변동성을 최소화하기 위한 베스트 프랙티스(예: 충분한 샘플 수, 교차 검증, 비용 효율적인 평가 프로토콜)가 필요함을 강조한다. 또한, 코드 진화 연구가 재현 가능하고 공정한 비교를 위해 동일 예산·모델·프롬프트 조건을 명시하고, 간단한 베이스라인과의 비교를 필수 단계로 포함해야 한다는 정책적 제언을 제시한다.