대형 언어 모델(LLMs)은 자연어의 통계적 분포를 모델링하여 언어 작업과 코드 생성에서 강한 성능을 보여줍니다. 그러나 기본적인 공리들을 위반하는 단계를 생성하는 등 체계적인 실패를 보이는 경우가 많습니다. 이러한 현상은 트랜스포머 아키텍처의 확률적 특성 때문으로, 논리적 검증이나 의미론적 제약을 강제하는 메커니즘이 부족하기 때문입니다. 체인-오브-사고(CoT) 프롬프팅은 중간 추론 단계를 유도하지만, 그것이 논리적 유효성을 보장하지는 않습니다: 기본 과정은 여전히 고차원 시퀀스 예측이며, 기호적 도출이 아닙니다.

뉴로-기호 구조는 신경 패턴 인식을 기호적 엄격성과 결합하려고 합니다. 예를 들어 AlphaGeometry는 생성 모델을 기호적 추론 엔진과 연결하여 올림피아드 수준의 기하 문제를 해결합니다. 그러나 전통적인 뉴로-기호 시스템은 보통 미분 불가능한 솔버를 사용하며, 이는 검증/불검증이라는 희박한 이진 피드백을 제공하는 검은 상자입니다. 기호적 구성 요소로부터 경사도 신호가 없으므로, 신경 모듈은 논리 제약 조건을 만족하도록 직접 학습할 수 없습니다. 미분 가능한 논리를 향한 이전의 노력—텐서 프로그램이나 신경 논리 기계와 같은 것들은 수학의 무제한 검색 공간 때문에 작은 유한 도메인을 넘어 확장하기 어렵습니다.

Mathesis라는 새로운 아키텍처를 소개합니다. 이는 기호적 추론 커널(SRK)을 통해 경사도 희박성을 극복하는 것입니다. SRK는 논리에 대한 미분 가능한 “물리 엔진"입니다: 그것은 수학 하이퍼그래프를 연속 에너지 지형에 임베딩하여 논리적 일관성이 영 에너지 상태와 대응되도록 합니다. 이로 인해 Hypergraph Transformer Brain의 생성 정책을 유도하는 밀집된 경사도 기반 피드백이 제공됩니다. Mathesis는 기존 접근법과 달리, 고차 하이퍼그래프(섹션 4)로 수학 상태를 인코딩하여 다중arity 관계와 중첩 논리 연결자를 높은 정밀도로 포착합니다. 시스템은 이 기호적 핵심을 구조화된 탐색 전략과 통합합니다—예를 들어, 몬테카를로 트리 검색(MCTS) 및 진화 증명 검색(EPS)—이러한 방법으로 의도적인 “시스템 2” 추론(섹션 6)을 가능하게 합니다.

전제 조건: 하이퍼그래프로 수학 표현하기

엄격한 뉴로-기호적 추론을 지원하기 위해, 우리는 수학 작업 공간을 구조화된 고차 이질성 하이퍼그래프로 형식화합니다. 이러한 표현은 문법적 구성(항목)과 의미론적 진리(사실)를 구분하고 중첩 논리 구조와 변수 양자 범위를 명시적으로 처리합니다.

정의: 수학 상태 하이퍼그래프

증명의 상태는 구조, 진리 상태 및 변수 바인딩 범위를 추적하는 튜플로 정의됩니다.

타입 시스템: 우리는 타입 매핑 $`\phi_V: V \to \mathcal{T}_V`$ 및 $`\phi_E: E \to \mathcal{T}_E`$을 정의하여 의미론적 일관성을 강제합니다.

• 노드 타입 ($`\mathcal{T}_V`$): $`\{ \mathtt{Variable}, \mathtt{Constant}, \mathtt{CompoundTerm} \}`$.

• 하이퍼엣지 타입 ($`\mathcal{T}_E`$): 세 가지 의미론적 범주를 구분합니다.

  • 생성자($`\mathcal{T}_{Con}`$): 항목을 정의하는 함수 연산. 입력은 $`V`$에서 추출되며 출력은 고유한 $`v_{\text{out}} \in V`$로 매핑됩니다, 예를 들어 $`\mathtt{Sum}(v_a, v_b) \to v_{\text{sum}}`$.

  • 명제($`\mathcal{T}_{Pred}`$): 원자 논리 명제. (예: $`\mathtt{Equals}(v_a, v_b)`$, $`\mathtt{Parallel}(l_1, l_2)`$).

  • 연결자($`\mathcal{T}_{Conn}`$): 엣지를 입력으로 받는 고차 논리 연산자. (예: $`\mathtt{Implies}(e_{premise}, e_{conclusion})`$, $`\mathtt{And}(e_1, e_2)`$).

양자화 및 범위: 양자화($`\forall, \exists`$)를 처리하기 위해 하이퍼엣지에 범위 속성을 도입합니다. 양자화된 문장은 타입 $`\mathtt{ForAll}`$ 또는 $`\mathtt{Exists}`$의 하이퍼엣지 $`e_{quant}`$로 표현됩니다.

• $`e_{quant} = (\mathcal{V}_{bound}, e_{body})`$

• $`\mathcal{V}_{bound} \subset V`$: 이 양자화자가 바인딩하는 변수 집합입니다.

• $`e_{body} \in E`$: 양자화되는 논리 공식(엣지)입니다.

예: “모든 x에 대해 (x = x)“는 다음과 같이 표현됩니다:

1. 항목: 노드 $`v_x`$ (타입: $`\mathtt{Variable}`$).

2. 명제: 엣지 $`e_{eq} = (v_x, v_x)`$ (타입: $`\mathtt{Equals}`$).

3. 양자화: 엣지 $`e_{root} = (\{v_x\}, e_{eq})`$ (타입: $`\mathtt{ForAll}`$).

4. 진리 상태: $`e_{root} \in \mathcal{F}`$. 참고로, $`e_{eq}`$는 독립적으로 진실이 아닙니다; 양자화자의 컨텍스트 내에서만 참입니다.

문제 형식화

우리는 자동 정리 증명(ATP)을 목표 문장이 증명된 사실 집합에 추가되는 유효한 도출 경로를 찾는 것으로 보고 있습니다.

문제 문건. 초기 상태 $`\mathcal{S}_{premise} = (\mathcal{G}_0, \mathcal{F}_0)`$는 공리 및 가정을 인코딩하고, 목표 명제는 대상 하이퍼엣지 구조 $`P_{goal}`$ (또는 그 설명)으로 표현됩니다. 목적은 행동 시퀀스 $`(a_1, \dots, a_n)`$를 찾는 것입니다: 상태 $`\mathcal{S}_0 \to \dots \to \mathcal{S}_n`$을 생성하여 다음과 같은 조건을 만족합니다.

1. 구조적 존재: 하이퍼그래프 $`\mathcal{G}_n`$은 $`P_{goal}`$과 동형인 서브그래프를 포함합니다. $`e_{goal}`$는 $`\mathcal{G}_n`$에서 $`P_{goal}`$의 루트에 해당하는 엣지입니다.

2. 논리적 추론: 목표는 증명된 사실로 인정됩니다:

   MATH

   접기 복사

   \begin{equation*}
           e_{goal} \in \mathcal{F}_n
   \end{equation*}

   클릭하여 더 보기

기호적 추론 커널 (SRK)

기호적 추론 커널(SRK)은 형식 논리에 대한 미분 가능한 물리 엔진으로, 수학의 이산 문법을 연속 에너지 지형으로 매핑합니다. Hypergraph Transformer Brain이 추론 경로를 제안하면 SRK는 결정적인 검증 신호를 제공합니다. 이러한 아키텍처는 증명을 찾는 작업을 전역 논리적 에너지 함수 $`E(\mathcal{G})`$의 최소화로 변환합니다.

철학 및 전체 계산

SRK는 수학 상태 $`\mathcal{S}`$가 논리적으로 일관되려면 $`E(\mathcal{G}) = 0`$이어야 한다는 원칙에 기반합니다. 제약 조건을 미분 가능한 에너지 항으로 표현함으로써, 생성 구성 요소에게 밀집된 경사도 신호를 제공하여 모델은 논리적 일관성의 방향을 “감지"할 수 있습니다. 총 에너지는 여러 도메인별 엔진에 걸쳐 집계됩니다 (알고리즘 [alg:srk_energy]). 논리적 정확성과 부드러움을 증명하는 형식적 증명은 부록 8에 자세히 설명되어 있습니다.

행렬 엔진 (선형 대수)

행렬 엔진은 $`\mathbb{R}^{d \times d}`$ 내에서 텐서로 선형 연산자를 표현합니다. 일반성과 전부 등급 또는 역원이 있는 행렬을 증명하는 경우를 지원하기 위해, 엔진은 부분 등위를 강제하는 제한적인 저등급 가정을 피하고 기본 선형 대수 항목의 잔차를 기반으로 에너지를 계산합니다.

행렬 $`M`$ 또는 행렬 집합 $`\{A, B, C\}`$에 대해 엔진은 다음과 같은 에너지 항을 정의합니다:

1. 등호 및 대칭성:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{eq}}(A, B) = \|A - B\|_F^2, \quad E_{\text{sym}}(A) = \|A - A^T\|_F^2
   \end{equation}

   클릭하여 더 보기

2. 곱셈 일관성:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{mult}}(A, B, C) = \|AB - C\|_F^2
   \end{equation}

   클릭하여 더 보기

3. 직교성: 직교 행렬의 속성을 표현하기 위해 비직교 행렬의 특이값을 제한하지 않습니다:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{orth}}(A) = \|A^T A - I\|_F^2
   \end{equation}

   클릭하여 더 보기

4. 역원: 노드가 역 $`A^{-1}`$를 나타내는 경우, 엔진은 다음과 같이 강제합니다:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{inv}}(A, A^{-1}) = \|AA^{-1} - I\|_F^2
   \end{equation}

   클릭하여 더 보기

이 표현은 $`GL(n, \mathbb{R})`$ 또는 $`M_n(\mathbb{R})`$에서 어떤 선형 연산자든 표현할 수 있도록 보장하여 일반적인 선형 대수 증명에 필요한 유연성을 제공합니다.

아이디얼 엔진 (대수기하학)

아이디얼 엔진은 다항식 귀결을 확인합니다. 전제 다항식 집합 $`F = \{f_1, \dots, f_s\}`$과 가설 $`h`$가 주어졌을 때, 엔진은 아이디얼 소속 여부를 검사합니다: 즉, $`h`$가 아이디얼 $`\langle F \rangle`$에 포함되어 있는지 확인합니다. 이는 전제가 결론을 귀결하는 충분 조건입니다.

정의 3.1 (아이디얼 소속). 다항식 $`h`$는 아이디얼 $`\langle f_1, \dots, f_s \rangle`$의 멤버일 때만 존재 증거 다항식 $`g_1, \dots, g_s`$가 다음과 같이 정의됩니다:

\begin{equation}
    h = \sum_{i=1}^s g_i f_i
\end{equation}

SRK는 잔차의 제곱 노름을 에너지로 계산합니다:

\begin{equation}
    E_{\text{ideal}}(h, F) = \left\| h - \sum_{i=1}^s g_i f_i \right\|_2^2
\end{equation}

이 대수적 검사를 손실 함수로 정의하는 것은 최근 계산 대수 문제를 위한 신경 솔버 개발에 영감을 받았습니다.

증거 다항식 $`g_i`$의 탐색 공간이 수학적으로 잘 정의되고 계산적으로 제한되도록 하기 위해 엔진은 효과적인 차수 한계를 강제합니다. Hermann의 결과를 따르면, $`g_i`$의 차수는 입력 다항식의 차수와 변수 개수에 대한 함수로 제약되어 “무한 탐색” 문제를 방지합니다.

또한 아이디얼 소속이 주요 검사인 경우에도 엔진은 기하학적 일관성을 확인할 때 Strong Nullstellensatz를 고려합니다. $`h`$가 다양체 $`V(F)`$에서 사라지는 것을 확인하는 작업이라면, 엔진은 라디칼 아이디얼에 대한 증거를 찾습니다: 즉, $`h^k \in \langle F \rangle`$인 $`k \in \mathbb{N}`$이 존재하는지 검사합니다.

기하학적 엔진 (유클리드 기하학)

기하학적 엔진은 유클리드 명제를 안정적인 다항식 형태로 매핑하여 나눗셈과 제곱근 연산에 관련된 특이점을 제거합니다. 제곱 잔차를 사용하면 엔진은 어디서나 미분 가능한 엄격하게 비음의 에너지 표면을 유지합니다.

$`D^2(A, B) = (x_A - x_B)^2 + (y_A - y_B)^2`$가 점 간 제곱 거리를 나타냅니다.

1. 일직선성 및 평행: 방향 벡터의 제곱 교차 곱을 사용합니다:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{coll}}(A, B, C) = \left( (x_B-x_A)(y_C-y_A) - (y_B-y_A)(x_C-x_A) \right)^2
   \end{equation}

   클릭하여 더 보기
   MATH

   접기 복사

   \begin{equation}
           E_{\text{para}}(AB, CD) = \left( (x_B-x_A)(y_D-y_C) - (y_B-y_A)(x_D-x_C) \right)^2
   \end{equation}

   클릭하여 더 보기

2. 수직: 제곱 내적을 사용합니다:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{perp}}(AB, CD) = \left( (x_B-x_A)(x_D-x_C) + (y_B-y_A)(y_D-y_C) \right)^2
   \end{equation}

   클릭하여 더 보기

3. 동등성 및 원: 원점에서의 제곱근 특이점을 피하기 위해 제곱 거리를 비교합니다:

   MATH

   접기 복사

   \begin{equation}
           E_{\text{cong}}(AB, CD) = \left( D^2(A,B) - D^2(C,D) \right)^2
   \end{equation}

   클릭하여 더 보기

4. 비율 및 유사성: 비율은 나눗셈과 관련된 불안정성을 제거하기 위해 교차 곱셈을 사용하여 검증합니다:

   MATH

   접기 복사

       \begin{split}
           E_{\text{ratio}}(AB, CD, EF, GH) = \big( & D^2(A,B) \cdot D^2(G,H) \\
           & - D^2(E,F) \cdot D^2(C,D) \big)^2
       \end{split}

   클릭하여 더 보기

Hypergraph Transformer Brain

Mathesis 아키텍처의 “뇌"는 추론 단계를 제안하는 생성 에이전트입니다. SRK와 달리 검증을 위한 결정적 물리 엔진이 아닌, 뇌는 방대한 조합적 탐색 공간인 수학 변환을 학습된 직관을 통해 탐색하도록 설계된 확률 모델입니다.

모델 아키텍처

표준 그래프 신경망(GNNs)은 일반적으로 고차 관계를 이진 엣지로 평평하게 만듭니다. 그러나 수학 표현은 본질적으로 고차이면서 비교환적입니다; $`z = x - y`$와 같은 간단한 연산도 의미를 정의하는 피연산자의 순서가 있는 3항 관계입니다. 이러한 정확성을 포착하기 위해 우리는 하이퍼그래프 변환을 사용하여 관계를 입력의 순서 배열로 직접 모델링합니다.

메시지 패싱 메커니즘

우리는 노드 $`V`$와 하이퍼엣지를 통합합니다. # 한도 15k 자 안정성을 위해 중단