RuleFlow LLM 기반 재사용 가능한 판다스 최적화 프레임워크

초록

RuleFlow는 LLM을 활용해 개별 판다스 코드에서 최적화를 발견하고, 이를 일반화된 재작성 규칙으로 변환한 뒤, 컴파일러 단계에서 반복적으로 적용하는 3단계 하이브리드 시스템이다. 발견 단계에서 얻은 고품질 규칙을 재사용함으로써 LLM 호출 비용을 제거하고, 기존 컴파일러 기반 시스템(DIAS)보다 평균 4.3배, 시스템 기반 솔루션(Modin)보다 최대 1915배 빠른 성능을 달성한다.

상세 분석

본 논문은 판다스 프로그램 최적화라는 실용적이면서도 난이도가 높은 문제에 대해 “낮은 수율, 높은 재사용”이라는 핵심 통찰을 제시한다. 기존 시스템 기반 접근법은 신뢰성은 높지만 무겁거나 적용 가능한 최적화 패턴이 제한적이며, LLM을 직접 활용한 per‑program 최적화는 높은 비용과 낮은 정확도(정확도 64%, 성능 향상 14%) 때문에 실용성이 떨어진다. RuleFlow는 이러한 양쪽의 단점을 보완하기 위해 세 단계로 구성된 파이프라인을 설계한다. 첫 번째 단계인 Discovery에서는 대규모 노트북 코드를 LLM에게 프롬프트하여 여러 후보 최적화를 생성하고, 자동 테스트와 성능 측정을 통해 의미론적 동등성과 실행 시간 개선을 검증한다. 두 번째 단계인 Bridge에서는 검증된 구체적 최적화를 추상화하여 DSL 기반 재작성 규칙으로 변환한다. 여기서 변수 바인딩(@{Name:v})과 전제조건(precondition)을 명시함으로써 원본 코드와 구조적으로 유사한 다른 코드에도 안전하게 적용될 수 있게 만든다. 세 번째 단계인 Deployment에서는 경량의 정적 매처와 재작성 엔진을 이용해 사전에 생성된 규칙을 실시간으로 적용한다. 이때 LLM 호출이 전혀 필요 없으며, 규칙 집합이 누적될수록 적용 범위와 히트율이 급격히 상승한다는 실험 결과가 제시된다. 특히, 전체 테스트 노트북 중 87.13%가 하나 이상의 규칙에 매치되었고, 개별 규칙은 최대 72개의 노트북에 적용되는 등 재사용 가능성이 매우 높다. 성능 측면에서는 DIAS 대비 평균 4.3배, 최고 199배, Modin 대비 평균 1914.9배, 최고 1704배의 가속을 기록한다. 또한, 규칙 생성 과정에서 LLM이 제안한 최적화 중 5.7%만이 실제로 유용했음에도, 이를 일반화함으로써 전체 파이프라인의 효율성을 크게 향상시켰다. 논문은 또한 DSL 설계, 자동 등가성 검사, 전제조건 합성 등 구현상의 세부 사항을 상세히 기술하고, 향후 다른 도메인(예: SQL, Spark)에도 동일한 프레임워크를 적용할 가능성을 제시한다. 전반적으로 RuleFlow는 LLM의 창의적 탐색 능력과 전통적인 컴파일러 기반 최적화의 안정성을 결합한 새로운 패러다임을 제시하며, 실무에서 판다스 코드 최적화를 자동화하고 비용 효율적으로 확장하는 데 중요한 기여를 한다.