LLM 기반 라이브러리 마이그레이션 자동화 Spell

초록

Spell은 대형 언어 모델(LLM)에서 API 간 관계 지식을 추출해 검증된 코드 예시와 테스트를 만든 뒤, 이를 PolyglotPiranha DSL로 변환해 재사용 가능한 마이그레이션 스크립트를 자동 생성한다. 기존 마이그레이션 도구가 필요로 하는 실제 마이그레이션 로그를 요구하지 않으며, 비용 효율적인 작은 모델로도 높은 정확도를 달성한다.

상세 분석

본 논문은 라이브러리 마이그레이션 문제를 두 단계의 파이프라인으로 해결한다. 첫 번째 단계인 데이터 증류(Data Distillation)에서는 LLM을 활용해 “사용 사례(use case)”를 브레인스토밍하고, 각 사용 사례에 대해 소스 라이브러리 구현, 테스트, 그리고 타깃 라이브러리로의 마이그레이션 코드를 순차적으로 생성한다. 여기서 핵심은 테스트 기반 검증이다. 소스 구현과 타깃 구현 모두 동일한 테스트 스위트를 통과해야만 해당 마이그레이션 트리플이 유효한 것으로 판단한다. 이 과정을 통해 870개의 고품질 마이그레이션 예시가 확보되었으며, 자동 필터링 단계에서는 커버리지, API 사용 적합성, 테스트 품질 등을 체크한다.

두 번째 단계인 스크립트 합성(Script Synthesis)에서는 초기 규칙을 안티-유니피케이션(anti‑unification) 기법으로 추출한다. 구체적인 코드 차이를 일반화해 매치‑리플레이스 패턴을 도출하고, 이를 PolyglotPiranha DSL의 규칙 형태로 표현한다. 이후 “에이전트 루프”가 도입되어, 초기 규칙을 반복적으로 검증·수정한다. 에이전트는 합성된 스크립트를 실제 코드베이스에 적용해 테스트 결과를 피드백으로 받으며, 규칙 간 의존성(연쇄 규칙)과 스코프 정보를 자동으로 연결한다. 결과적으로 단일 마이그레이션 작업에 대해 평균 87개의 검증된 예시를 생성하고, 61.6%의 경우 한 번의 시도만으로 정확한 PolyglotPiranha 스크립트를 도출했다.

실험은 파이썬 생태계의 9가지 라이브러리 쌍을 대상으로 수행했으며, 기존 최첨단 도구인 Melt를 모든 과제에서 능가했다. 특히, 비용 측면에서 LLM 호출 비용을 $100 이하로 제한했음에도 높은 성공률을 유지했다는 점은 실무 적용 가능성을 크게 높인다.

기술적 기여는 다음과 같다. (1) LLM을 지식원으로 활용해 검증된 마이그레이션 예시와 테스트를 자동 생성하는 데이터 증류 방법, (2) 안티‑유니피케이션과 에이전트 기반 루프를 결합한 DSL 스크립트 합성 프레임워크, (3) 870개의 고품질 마이그레이션 트리플을 포함한 공개 데이터셋, (4) 실제 오픈소스 프로젝트에 적용 가능한 PolyglotPiranha 스크립트 제공. 한계점으로는 현재 파이썬에 국한된 평가와, 복잡한 상태ful API(예: 이벤트 기반 스트리밍)에는 추가적인 정형화 작업이 필요하다는 점을 들 수 있다. 향후 연구에서는 다중 언어 지원 확대와, LLM 내부 지식의 신뢰성을 향상시키기 위한 프롬프트 최적화 및 인간‑인-루프 검증을 탐색할 여지가 있다.