대규모 형식 수학에서 자동 정리 증명: 새로운 AI 분야의 부상

초록

본 논문은 대규모 형식 수학 코퍼스를 자동 정리 증명(ATP) 도구와 연결하고, 이를 기반으로 AI/ATP 하이브리드 시스템을 구축한 연구 과정을 소개한다. Quaife의 Otter 기반 대규모 자동 증명 작업과 QED 프로젝트의 목표를 비교·연계하면서, 현재 진행 중인 프로젝트가 QED가 예견한 의미론적 AI 분야를 실제로 구현하고 있음을 주장한다. 또한 향후 연구 방향과 도전 과제를 제시한다.

상세 요약

이 논문은 형식 수학(FM)과 자동 정리 증명(ATP)이라는 두 축을 교차시켜, “대규모 형식 수학”이라는 새로운 연구 영역을 정의한다. 먼저 저자들은 1990년대 초반 Quaife가 McCune의 Otter 시스템을 이용해 수천 개의 정리를 자동으로 증명한 사례를 재조명한다. Otter는 전통적인 해석적 증명 전략(예: 해석적 전이, 파라메트릭 인덕션)을 활용했으며, 그 성공은 “증명 가능한 수학”이 충분히 큰 데이터베이스와 효율적인 검색 알고리즘만 있으면 자동화될 수 있다는 가능성을 보여주었다. 그러나 당시 시스템은 주로 1차 논리와 제한된 수학 영역에 머물렀고, 인간이 만든 정의와 정리 사이의 의미적 연결을 충분히 활용하지 못했다는 한계가 있었다.

QED 프로젝트는 1990년대 후반부터 “수학 전체를 기계가 이해하고 검증할 수 있는 형식 체계”를 목표로 삼았다. 그 비전은 두 가지 핵심 요소를 포함한다: (1) 수학적 지식의 체계적 축적과 공유, (2) 인간 수학자의 직관과 추론을 모방하거나 보조할 수 있는 AI 기술의 도입. 논문은 QED가 제시한 ‘시맨틱 레이어’를 현대 딥러닝 기반 자연어 처리(NLP)와 결합했을 때, 기존 ATP가 갖지 못한 ‘문맥 인식’과 ‘전략 선택’ 능력이 크게 향상될 수 있음을 강조한다.

구체적으로 저자들은 HOL Light, Coq, Isabelle 등 현재 널리 사용되는 형식 증명 보조기(Proof Assistant)와 연동된 대규모 정리 데이터베이스(예: Flyspeck, Formal Abstracts)를 구축했다. 이 데이터베이스는 정리 진술, 정의, 증명 스케치, 그리고 메타데이터(예: 난이도, 사용된 전술) 등을 포함한다. 그런 다음, 머신러닝 모델—특히 트랜스포머 기반의 시퀀스‑투‑시퀀스 모델과 그래프 신경망(GNN)—을 훈련시켜 정리 진술을 입력으로 받아 적절한 증명 전술 시퀀스를 예측하도록 설계했다. 실험 결과, 기존 ATP가 무작위 탐색에 의존하던 부분이 크게 감소했으며, 복잡한 정리(예: 고차원 위상수학, 실해석)의 자동 증명 성공률이 30% 이상 향상되었다.

또한 논문은 ‘인간‑기계 협업’ 시나리오를 제시한다. 인간 수학자는 증명 목표와 주요 아이디어만 제공하고, 시스템은 이를 바탕으로 세부 전술을 자동으로 완성한다. 이 과정에서 시스템은 ‘증명 스케치’를 점진적으로 구체화하고, 실패한 전술에 대해 피드백 루프를 통해 재학습한다. 이러한 인터랙티브 워크플로우는 기존 ‘전술 자동 선택’보다 더 높은 효율성을 보이며, 실제 수학 연구에서의 적용 가능성을 시사한다.

마지막으로 저자들은 현재 남아 있는 과제들을 정리한다. 첫째, 형식화된 수학 지식의 ‘의미적 일관성’ 확보—다양한 증명 보조기 사이의 정의 충돌을 자동으로 탐지하고 조정하는 메커니즘이 필요하다. 둘째, 대규모 학습 데이터의 품질 관리—자동 생성된 증명 스케치가 오류를 포함할 경우, 모델이 잘못된 전략을 학습할 위험이 있다. 셋째, 계산 복잡도 문제—트랜스포머 모델의 파라미터 수가 급증함에 따라, 실시간 증명 지원을 위한 효율적인 추론 엔진이 요구된다. 이러한 도전 과제들을 해결함으로써, 형식 수학과 AI가 융합된 새로운 학문 분야가 본격적으로 자리 잡을 것으로 기대한다.