대형 언어 모델(LLM)이 수학적 추론 작업에서 보여준 탁월한 성과는 이러한 모델들의 출력을 이해하고 검증하는 데 관심을 집중시켰습니다. 모델이 수학 증명을 생성할 때, 실천가들은 근본적인 지식론적 도전에 직면합니다: 출력이 진정한 논리적 추론을 반영하는지 아니면 고품질 패턴 매칭으로 인해 가능한 듯하지만 잠재적으로 오류가 있는 주장을 생성하는지를 판단해야 합니다. 이러한 도전은 자동 정리 증명, 수학 교육, 과학적 발견과 같은 고위험 응용 분야에서 특히 심각하며, 감지되지 않은 추론 오류는 중요한 결과를 초래할 수 있습니다.

추론 검증에 대한 현재 접근 방법은 크게 두 범주로 나뉩니다. 각각이 상당한 제약을 가지고 있습니다. 출력 기반 검증은 Lean, Coq 또는 Isabelle과 같은 형식화 증명 지원 도구를 사용하여 생성된 증명이 성공적으로 컴파일되는지 확인합니다. 이 접근 방법은 논리적 유효성을 구문적 수용 가능성과 혼동할 수 있습니다: 시간 제약, 누락된 라이브러리 임포트, 버전 호환성 문제 또는 서식 문제로 인해 증명이 거부될 수 있으며, 이는 진정한 논리 오류 때문일 수도 없습니다. 반면에, 세밀한 의미적 오류가 있는 증명은 타입 체크나 공리 시스템의 간격을 활용하여 컴파일할 수 있습니다.

학습된 검증, 다른 한편에서는 모델 내부에 대한 분류기를 훈련하거나 과정 기반 보상 모델(PRM)을 사용하여 단계별로 정확성을 예측합니다. 최근 추세는 추론 시 컴퓨팅을 확대하여 이러한 검증자를 정교하게 만드는 것입니다. 그러나 이러한 방법은 대규모 라벨링 데이터가 필요하며, 다양한 모델 아키텍처에 일반화되지 않을 수 있으며, 근본적인 유효한 추론의 속성보다 허위 상관을 학습할 위험성이 있습니다.

우리는 스펙트럼 그래프 이론에 기반한 대안적 패러다임을 제안합니다. 우리의 중점적인 통찰은 변환기의 자기 주의 메커니즘이 토큰 간의 동적 가중 그래프를 유발하고, 엣지 가중치가 주의 점수에 해당한다는 것입니다. 이 그래프의 스펙트럼 속성인 라플라시안 행렬의 고유값과 고유 벡터는 모델이 처리 중 정보를 어떻게 경로를 설정하는지에 대한 전역 구조적 정보를 인코딩합니다. 우리는 유효한 수학적 추론이 일관되고 구조화된 정보 유동을 반영하는 특징적인 스펙트럼 서명을 생성하고, 유효하지 않은 추론은 스펙트럼 분석을 통해 감지할 수 있는 조직되지 않은 패턴을 생성한다고 가정합니다.

이 가설은 그래프 신호 처리 문헌에서 이론적 동기를 얻습니다. 부드러운 그래프 신호(엣지에 걸쳐 천천히 변하는 것)는 낮은 주파수 스펙트럼 구성 요소에 에너지를 집중시키며, 불규칙한 신호는 높은 주파수 내용을 나타냅니다. 유효한 추론이 토큰 간의 일관된 정보 통합을 반영한다면, 우리는 유효한 증명이 더 부드러운 그래프 신호와 낮은 고주파 에너지를 갖는 것을 기대합니다. 반면에, 유효하지 않은 추론은 분열되거나 일관되지 않은 처리를 반영하고 높은 스펙트럼 불규칙성을 가질 것입니다.

기여

우리는 다음과 같은 기여를 제공합니다:

1. 주의 그래프의 스펙트럼 분석을 기반으로 한 학습 없는 추론 유효성 검출 프레임워크를 도입하여 중첩 교차 검증에서 82.8–85.9% 정확도, 캘리브레이션된 임계값에서는 최대 95.6%의 정확도를 달성했습니다.

2. 스펙트럼 서명은 네 개의 독립적인 가족(Meta, Alibaba, Microsoft, Mistral AI)에서 일곱 모델에 걸쳐 효과 크기 $`|d| \geq 2.09`$ 및 $`p_{\text{MW}} < 10^{-47}`$을 보이는 아키텍처 간의 보편성을 입증했습니다.

3. 스펙트럼 방법은 컴파일러 수용 대신 로직적 일관성을 검출하여 기술적인 실패로 인해 형식 시스템이 거부하는 유효한 증명을 식별합니다. 이를 “플라톤적 유효성"이라고 부릅니다.

4. 슬라이딩 창 주의를 사용하는 모델은 후반 레이어에서 매끄러움으로 유효성을 포착하지만 HFER는 이동합니다.

5. 스펙트럼 서명을 인식 상태, 즉 자신들의 추론 과정에 대한 암묵적 확실성의 반영이라고 인지적으로 해석했습니다.

관련 연구

기계적인 해석 가능성.

변환기의 내부 계산을 이해하는 것은 해석 가능성 연구의 중심 목표였습니다. 기본 작업은 변환 회로를 분석하기 위한 수학적 프레임워크를 도입했으며, “인덕션 헤드"는 문맥 학습에 중요한 메커니즘이라는 것을 확인했습니다. 후속 작업은 산술, 사실 기억 및 추론 작업에서 주의 패턴을 분석했습니다. 최근 연구 동향은 희소 오토인코더(SAE) 확장을 통해 모델 활성화를 해석 가능한 특징으로 분해하는 것입니다. 자동 회로 발견 및 활성화 패치 도구는 체계적인 조사가 가능하게 만들었습니다. 우리의 작업은 미세한 회로 분석을 보완하여 유효 추론의 전역 위상적 서명을 캐릭터라이즈하고, 모델 일관성을 매크로스코픽 뷰를 제공합니다.

프로빙 및 표현 분석.

선형 프로브는 언어학적, 의미론적 및 사실적인 정보를 추출하는 데 널리 사용되었습니다. 최근 연구에서는 진실성, 불확실성 및 추론 능력에 대한 프로빙을 수행했습니다. Contrast-Consistent Search (CCS)은 비지도 프로브 훈련을 위해 도입되었습니다. 새로운 접근 방식은 거부와 속임수의 기하학적 분석에 초점을 맞추었지만, 프로브 신뢰성 및 인코딩과 사용 간 구분에 대한 우려가 지속되고 있습니다. 우리의 스펙트럼 접근법은 학습이 필요하지 않고 주의 그래프 상호작용을 대상으로 하며 정적 벡터 표현보다 작동합니다.

신경망에 적용된 그래프 신호 처리.

스펙트럼 그래프 이론을 신경망에 적용한 연구는 풍부한 역사를 가지고 있습니다. 최근 연구는 변환기를 그래프 이론의 관점에서 분석하고, over-smoothing, 스펙트럼 주의 메커니즘 설계 및 주의와 그래프 확산 간 연결을 조사했습니다. 주의 엔트로피를 보정하기 위해 분석되었습니다. 가장 최근에는 상태 공간 모델에 스펙트럼 필터를 적용하여 긴 컨텍스트 검색을 수행했으며, Graph Transformers에서 주의 네트워크 과학 분석을 도입했습니다. 우리의 연구는 유효성 감지에 대한 전체적인 그래프 신호 처리 프레임워크를 적용함으로써, 라플라시안 고유분석과 스펙트럼 진단을 포함하고 있으며, 유효성 검출에서 분류 효과 크기가 $`d > 3.0`$입니다.

LLM 검증 및 환영 감지.

LLM 출력의 검증은 많은 관심을 받았습니다. 프로세스 기반 보상 모델(PRM)은 단계별 주석을 사용하여 검증기를 훈련시키며, 자기 일관성 방법은 샘플링 다양성을 활용합니다. 2025년의 주요 추세는 시험 시 컴퓨팅을 확대하여 신뢰성을 높이는 것입니다. 환영 감지에는 신뢰도 보정 및 지식 프로빙이 포함됩니다. 우리의 방법은 PRMs와 달리 학습이 필요하지 않고, 자기 일관성과 달리 샘플링이 필요하지 않으며 주의 기하학을 대상으로 합니다.

신경 정리 증명.

LLM은 레인도조 및 알파프루프와 같은 형식 수학에서 인상적인 성과를 보였습니다. 최근 진전으로는 DeepSeek-Prover-V1.5 및 LLM과의 몬테카를로 트리 검색 통합이 있습니다. 벤치마크인 MiniF2F 및 MATH는 평가 가능하게 합니다. 우리의 연구는 서로 보완적인 문제를 다룹니다: 정식 검증 엔진 없이 증명 유효성을 평가함으로써 증명 검색 중 빠른 필터링을 가능케합니다.

방법

우리는 스펙트럼 그래프 이론의 관점을 통해 변환기 주의를 분석하기 위한 프레임워크를 개발했습니다. 우리의 접근 방식은 주의 행렬이 토큰에 대한 가중 그래프를 정의한다고 보고, 정보 유동의 기하학을 특성화하는 스펙트럼 속성을 추출합니다.

주의는 동적 그래프

$L$ 층으로 구성된 변환기와 각 층마다 $H$ 개의 주의 헤드가 있는 경우, $N$ 개의 토큰 시퀀스를 처리합니다. 층 $\ell \in \{1, \ldots, L\}$ 및 헤드 $h \in \{1, \ldots, H\}$에서 $`\bm{A}^{(\ell,h)} \in \mathbb{R}^{N \times N}`$를 포스트-소프트맥스 주의 행렬로 표시하고, $`A^{(\ell,h)}_{ij}`$가 토큰 $i$에서 토큰 $j$까지의 주의 점수를 나타냅니다. 구조에 따라 각 행은 합이 1입니다: $`\sum_{j=1}^N A^{(\ell,h)}_{ij} = 1`$.

우리는 각 주의 행렬을 정의하는 방향 그래프 $`\mathcal{G}^{(\ell,h)} = (\mathcal{V}, \mathcal{E}^{(\ell,h)}, \bm{A}^{(\ell,h)})`$로 해석합니다. 여기서 정점 $\mathcal{V} = \{1, \ldots, N\}$은 토큰을 나타내고 엣지 가중치는 주의 점수에 의해 주어집니다. 스펙트럼 분석을 가능하게 하기 위해, 우리는 대칭화를 수행하여 무방향 그래프로 변환합니다:

\begin{equation}
\bm{W}^{(\ell,h)} = \frac{1}{2}\left(\bm{A}^{(\ell,h)} + (\bm{A}^{(\ell,h)})^\top\right)
\label{eq:symmetrize}
\end{equation}

헤드 집계.

각 층당 단일 그래프를 얻기 위해 주의 질량 가중치로 헤드를 집계합니다:

\begin{equation}
\bar{\bm{W}}^{(\ell)} = \sum_{h=1}^{H} \alpha_h^{(\ell)} \bm{W}^{(\ell,h)}, \quad \alpha_h^{(\ell)} = \frac{s_h^{(\ell)}}{\sum_{g=1}^{H} s_g^{(\ell)}}
\label{eq:aggregate}
\end{equation}

여기서 $`s_h^{(\ell)} = \sum_{i,j} A^{(\ell,h)}_{ij} = N`$은 헤드 $h$의 총 주의 질량이며, 표준 주의에서는 헤드 간 동일하지만 일반성 및 희소 주의 변형과 호환성을 위해 유지합니다. 우리는 균일 가중치 $`\alpha_h = 1/H`$를 강건성 확인으로 사용합니다.

그래프 라플라시안.

집계된 주의 그래프의 조합적 그래프 라플라시안은 다음과 같습니다:

\begin{equation}
\bm{L}^{(\ell)} = \bar{\bm{D}}^{(\ell)} - \bar{\bm{W}}^{(\ell)}
\label{eq:laplacian}
\end{equation}

여기서 $\bar{\bm{D}}^{(\ell)} = \mathrm{diag}(\bar{\bm{W}}^{(\ell)} \bm{1})$는 차수 행렬입니다. 라플라시안은 대칭 양의 반정부성이며 고유 분해 $`\bm{L}^{(\ell)} = \bm{U}^{(\ell)} \bm{\Lambda}^{(\ell)} (\bm{U}^{(\ell)})^\top`$를 갖으며, 고유값은 $`0 = \lambda_1 \leq \lambda_2 \leq \cdots \leq \lambda_N`$을 만족합니다. 우리는 또한 정규화된 라플라시안 $\bm{L}_{\text{sym}}^{(\ell)} = \bm{I} - (\bar{\bm{D}}^{(\ell)})^{-1/2} \bar{\bm{W}}^{(\ell)} (\bar{\bm{D}}^{(\ell)})^{-1/2}`$를 분석합니다.

은닉 상태에서 그래프 신호

$\bm{X}^{(\ell)} \in \mathbb{R}^{N \times d}$는 층 $\ell`에서의 은닉 상태 행렬을 나타내며, $i행은 토큰 $i의 $d`차원 표현을 포함합니다. 그래프 신호 처리 프레임워크에 따르면, $\bm{X}^{(\ell)}`$의 각 열은 주의 그래프의 정점에서 정의된 신호를 나타냅니다. 이러한 관점을 통해 토큰 표현이 주의 구조와 관련하여 어떻게 변하는지 분석할 수 있습니다.

그래프 포URI에르 변환(GFT)은 신호를 라플라시안의 고유 베이스로 사영합니다:

\begin{equation}
\hat{\bm{X}}^{(\ell)} = (\bm{U}^{(\ell)})^\top \bm{X}^{(\ell)} \in \mathbb{R}^{N \times d}
\label{eq:gft}
\end{equation}

여기서 $\hat{\bm{X}}^{(\ell)}`$의 $m`행은 주파수 $\lambda_m에서의 스펙트럼 계수를 포함합니다. 낮은 주파수 구성 요소(작은 $\lambda_m)는 그래프에 걸쳐 천천히 변하는 것을 포착하고, 높은 주파수 구성 요소(큰 $\lambda_m`)는 인접 토큰 간의 급격한 변화를 포착합니다.

스펙트럼 진단

우리는 각 층에서 네 가지 보완적인 스펙트럼 진단을 추출하여 그래프-신호 상호 작용의 다양한 측면을 포착합니다.

\begin{equation}
\mathcal{E}^{(\ell)} = \mathrm{Tr}\left((\bm{X}^{(\ell)})^\top \bm{L}^{(\ell)} \bm{X}^{(\ell)}\right) = \sum_{i < j} \bar{W}_{ij}^{(\ell)} \|\bm{X}_i^{(\ell)} - \bm{X}_j^{(\ell)}\|_2^2
\end{equation}

\begin{equation}
\mathrm{HFER}^{(\ell)}(K) = \frac{\sum_{m=K+1}^{N} \|\hat{\bm{X}}_{m,\cdot}^{(\ell)}\|_2^2}{\sum_{m=1}^{N} \|\hat{\bm{X}}_{m,\cdot}^{(\ell)}\|_2^2}
\label{eq:hfer}
\end{equation}

\begin{equation}
\mathrm{SE}^{(\ell)} = -\sum_{m=1}^{N} p_m^{(\ell)} \log p_m^{(\ell)}, \quad p_m^{(\ell)} = \frac{\|\hat{\bm{X}}_{m,\cdot}^{(\ell)}\|_2^2}{\sum_{r=1}^{N} \|\hat{\bm{X}}_{r,\cdot}^{(\ell)}\|_2^2}
\label{eq:entropy}
\end{equation}

\begin{equation}
\lambda_2^{(\ell)} = \min_{\bm{x} \perp \bm{1}, \|\bm{x}\|=1} \bm{x}^\top \bm{L}^{(\ell)} \bm{x}
\label{eq:fiedler}
\end{equation}

\begin{equation}
\text{Smooth}^{(\ell)} = 1 - \frac{\mathcal{E}^{(\ell)}}{\mathcal{E}_{\max}^{(\ell)}}
\label{eq:smoothness}
\end{equation}