구조적 해답 구축·검증을 통한 응용수학 자동화: Lean 4 기반 AMBER 벤치마크

초록

본 논문은 기존 정리 증명 중심 벤치마크의 한계를 넘어, 해답을 직접 구성하고 검증하는 “Construction‑Verification” 워크플로를 도입한다. Lean 4 환경에서 평가·알고리즘 설계·표현 변환 등 응용수학 핵심 영역을 아우르는 AMBER 벤치마크를 구축하고, 최신 LLM들의 성능을 실험한다. 일반 목적 모델이 특화된 정리 증명 모델보다 우수함을 보이며, 증명 전용 미세조정이 “전술 과적합”을 일으켜 구성 능력을 저해한다는 중요한 통찰을 제공한다.

상세 분석

이 연구는 수학 자동화에서 “존재 증명”과 “구성 증명”을 명확히 구분한다는 점에서 혁신적이다. 기존 MiniF2F·ProofNet 등은 문제의 존재 여부만을 확인하도록 설계돼, 실제 수치값이나 알고리즘 구현을 요구하는 응용수학 과제에 부적합했다. 저자들은 Lean 4의 정의(def), 귀납적 타입, 타입클래스 등을 활용해 두 단계(구성 → 검증) 패턴을 강제한다. 예를 들어, 최적화 문제에서는 x := A⁻¹·b 라는 함수를 정의하고, 이를 최적점임을 증명하도록 요구한다. 알고리즘 설계에서는 재귀 함수 형태의 업데이트 규칙을 직접 코딩하게 하여, 단순 속성 검증을 넘어 실제 구현 능력을 평가한다. 표준화된 형식은 “parameter → solution” 형태의 함수 시그니처를 고정함으로써, 모델이 존재 증명을 이용해 해답을 유도하는 비구성적 전략을 차단한다.

벤치마크는 Convex Analysis, Optimization, Numerical Algebra, High‑Dimensional Probability 네 분야를 아우르며, 교과 수준부터 박사 수준 연구 문제까지 난이도를 다양화한다. 실험에서는 최신 일반 목적 LLM(DeepSeek‑V3.2‑Thinking, Gemini‑3 Pro 등)과 증명 전용 모델(Seed‑Prover, DeepSeek‑Prover‑V2 등)을 비교했으며, 전자는 복합적인 구성·검증 과제를 수행하는 데 현저히 높은 성공률을 보였다. 반면, 증명 전용 모델은 미세조정 과정에서 “전술 과적합” 현상이 발생해, 복합 지시를 따르는 능력이 약화된 것으로 드러났다. 이는 LLM이 증명 논리에는 강하지만, 실제 수치·알고리즘 구현을 요구하는 멀티스텝 작업에서는 일반 목적 모델이 더 유연함을 시사한다.

이 논문은 응용수학 자동화에 있어 “구성 능력”을 평가 지표로 삼아야 함을 강조하고, 향후 신경‑심볼릭 시스템이 전술적 증명 능력과 일반적 구성·명령 수행 능력 사이의 트레이드오프를 어떻게 조정할지에 대한 연구 방향을 제시한다.