수학 라이브러리의 숨은 연결고리: MathlibLemma 자동 전설 정리 생성 및 벤치마크

초록

MathlibLemma은 LLM 기반 다중 에이전트 파이프라인을 통해 Lean Mathlib에 부족한 전설(폭넓게 사용되지만 누락된) 정리를 자동으로 발굴·형식화하고, 4 028개의 타입‑검증된 정리로 구성된 벤치마크를 제공한다.

상세 분석

본 논문은 형식화된 수학 라이브러리의 “마지막 마일” 문제, 즉 인간 수학자는 당연히 알고 있지만 라이브러리에는 존재하지 않아 증명 과정에서 반복적으로 재구성해야 하는 전설 정리(folklore lemmas)의 부재를 해결하고자 한다. 이를 위해 저자들은 네 개의 LLM 에이전트로 구성된 MathlibLemma 프레임워크를 설계하였다.

1. Discovery Agent는 Mathlib의 기존 파일을 시드(context)로 삼아, 구조적·주제적 결함을 탐지하고 Lean 코드 형태의 후보 정리를 생성한다. 여기서는 아직 증명을 포함하지 않으며, sorry 자리표시자를 사용해 정리만 선언한다.
2. Judge Agent는 “LLM‑as‑a‑judge” 방식을 채택해, 후보 정리의 수학적 타당성을 검증한다. 구문 오류는 무시하고 순수히 의미론적 오류(잘못된 명제, 허위 추정)를 걸러낸다. 이 단계는 이후 증명 시도에 불필요한 연산을 방지한다.
3. Formalizer Agent는 Lean 서버와 인터랙션하면서 구문·타입 오류를 자동 수정한다. 정리 선언이 Lean 커널에 의해 타입‑체크되도록 보장하며, 이 과정에서 필요한 import와 정의를 자동으로 삽입한다.
4. Prover Agent는 정식화된 정리를 대상으로 자동 증명 도구(예: aesop, simp, tauto 등)와 LLM 기반 증명 생성기를 결합해 증명을 시도한다.

이러한 단계적 설계는 “의미‑오류”, “구문‑오류”, “증명‑실패”라는 세 가지 주요 실패 모드를 서로 독립적으로 처리함으로써 전체 파이프라인의 효율성을 크게 향상시킨다.

실험 결과, MathlibLemma은 1 812개의 정리를 성공적으로 타입‑체크하고, 그 중 45 %는 Prover Agent가 자동으로 증명에 성공했다. 또한, 인간 감수자를 통해 무증명 잔여물 4 028개 중 78 %가 수학적으로 올바른 것으로 확인되었다. 이는 기존 LLM 기반 자동 정리 생성 시스템이 겪는 “환각” 문제를 크게 억제한다는 증거이다.

벤치마크 구축 측면에서는, 기존의 Olympiad‑level 문제(예: MiniF2F) 중심 평가와 달리, MathlibLemma은 라이브러리 커버리지를 확장하는 “폭넓은” 과제를 제공한다. 4 028개의 정리는 다양한 수학 분야(대수, 해석, 조합, 확률 등)를 포괄하며, 각 정리는 타입‑검증된 Lean 코드와(가능한 경우) 자동 증명을 포함한다.

또한, 일부 정리는 이미 Mathlib 최신 빌드에 병합돼 실제 커뮤니티에 기여한 바 있다. 이는 시스템이 단순히 벤치마크를 생성하는 수준을 넘어, 실제 수학 라이브러리의 성장에 직접적인 영향을 미칠 수 있음을 보여준다.

전반적으로 이 논문은 LLM을 “수동적 소비자”에서 “능동적 기여자”로 전환시키는 구체적 방법론을 제시하고, 자동화된 전설 정리 발굴·형식화 파이프라인이 형식 수학 생태계의 지속 가능한 진화를 어떻게 촉진할 수 있는지를 실증적으로 입증한다.