AI와 함께하는 전단사 발견 OpenEvolve의 가능성과 한계

초록

본 논문은 최신 진화형 프로그램 합성 시스템 OpenEvolve를 활용해 Dyck 경로와 관련된 세 가지 전단사 구성 문제를 탐구한다. 두 문제는 기존에 알려진 전단사이며, 하나는 아직 미해결 상태이다. 실험 결과, OpenEvolve가 인간 수준의 코드 생성과 반복적 개선을 통해 유망한 후보를 제시하지만, 완전한 연구 수준의 새로운 전단사를 자동으로 발견하는 데는 아직 한계가 있음을 확인한다. 인간 수학자의 지속적인 개입이 필요함을 강조한다.

상세 분석

OpenEvolve는 다수의 대형 언어 모델(LLM)을 팀으로 구성해 문제에 대한 초기 코드 후보를 생성하고, 이를 진화 연산(변이, 교차, 선택)으로 반복 개선한다는 기본 설계를 갖는다. 이러한 설계는 기존의 단일 샷 LLM 접근법이 갖는 창의성 한계를 보완하고, 복잡한 수학적 구조를 단계적으로 탐색할 수 있게 한다. 논문에서는 먼저 Dyck 경로와 Catalan 수와의 관계를 이용한 전단사 문제를 세 가지 선정하였다. 두 개는 전통적인 “Dyck 경로 ↔ 이진 트리”와 “Dyck 경로 ↔ 괄호 문자열” 전단사이며, 세 번째는 “Dyck 경로 ↔ 특정 격자 경로” 전단사로, 현재까지 문헌에 명확한 해법이 제시되지 않은 상태이다.

실험 단계에서는 OpenEvolve에 문제 정의와 제한 조건을 프롬프트로 제공하고, 초기 후보 코드를 10 % 정도의 성공률로 생성하였다. 이후 진화 과정에서 변이 연산은 LLM에게 코드 조각을 수정·추가하도록 요청하고, 교차 연산은 서로 다른 후보의 함수 정의를 결합하도록 설계하였다. 선택 기준은 (1) 코드가 구문적으로 정상인지, (2) 생성된 객체가 정의된 combinatorial 구조와 일대일 대응을 만족하는지, (3) 실행 시간 및 메모리 효율성을 포함한 성능 지표였다.

결과적으로 알려진 두 전단사에 대해서는 OpenEvolve가 인간 수준의 구현을 재현하거나 약간의 변형을 제시하는 데 성공했다. 특히 “Dyck 경로 ↔ 이진 트리” 전단사의 경우, 초기 후보는 전통적인 재귀적 변환을 그대로 구현했으며, 진화 단계에서 불필요한 중복 검사를 제거해 효율성을 15 % 정도 개선하였다. 반면, 미해결 전단사에서는 초기 후보가 부분적으로만 조건을 만족했으며, 진화 과정에서도 완전한 일대일 대응을 달성하지 못했다. 주요 장애 요인은 (가) 문제 자체가 요구하는 구조적 제약이 복잡해 LLM이 정확히 파악하기 어려움, (나) 현재 진화 연산이 코드의 논리적 깊이를 충분히 탐색하지 못하고 표면적인 변형에 머무른다는 점이다.

또한, 논문은 OpenEvolve의 “인간‑AI 협업 루프”를 강조한다. 연구자는 진화 과정에서 생성된 중간 결과를 검토하고, 오류가 있는 부분을 명시적으로 피드백함으로써 LLM의 다음 변이 단계에 유용한 정보를 제공한다. 이러한 인간 개입이 없을 경우, 시스템은 종종 무의미한 변형에 머무르거나, 논리적 오류를 누적시켜 최종 후보가 전단사 조건을 위배한다.

마지막으로, 시스템의 한계와 향후 개선 방향을 논의한다. 첫째, 변이 연산에 구조적 탐색을 강화하기 위해 도메인‑특화 언어(DSL)나 형식 검증 도구와 연계하는 방안이 제시된다. 둘째, 선택 메커니즘에 수학적 증명 자동화 도구를 통합해 후보의 정당성을 보다 엄격히 평가할 수 있다. 셋째, 대규모 LLM의 파라미터 튜닝과 프롬프트 엔지니어링을 통해 문제 정의를 보다 정밀하게 전달함으로써 초기 후보의 품질을 높일 필요가 있다.

요약하면, OpenEvolve는 기존 LLM 기반 코드 생성의 한계를 넘어선 진화적 접근을 제공하지만, 복잡한 전단사와 같은 고차원 combinatorial 구조를 자동으로 발견하는 데는 아직 충분히 성숙하지 않았다. 인간 수학자의 통찰과 피드백이 핵심적인 촉매제로 작용한다는 점이 본 연구의 핵심 교훈이다.