수학적 추론의 스펙트럼: 주의 메커니즘을 통한 검증 신호

초록

본 논문은 대형 언어 모델의 주의(attention) 행렬을 토큰 그래프의 인접 행렬로 해석하고, 네 가지 스펙트럴 지표(피델러 값, 고주파 에너지 비율, 그래프 신호 부드러움, 스펙트럼 엔트로피)를 이용해 수학적 증명의 타당성을 훈련 없이 구분한다. 7개의 모델(Meta Llama, Alibaba Qwen, Microsoft Phi, Mistral AI)에서 효과 크기 Cohen’s d가 최대 3.30, 정확도 85‑95 %를 달성했으며, Mistral‑7B의 슬라이딩 윈도우 주의는 주요 신호를 HFER에서 후기 레이어 부드러움으로 이동시킨다. 결과는 스펙트럴 그래프 분석이 논리 일관성 검증에 유용함을 보여준다.

상세 분석

이 연구는 “주의 행렬 = 토큰 간 연결성”이라는 가정을 바탕으로, 각 레이어와 헤드의 주의 가중치를 그래프 인접 행렬로 변환한다. 변환된 그래프에 라플라시안(L) 연산자를 적용해 스펙트럼을 구하고, 네 가지 진단 지표를 정의한다. 첫째, 피델러 값(λ₂)은 그래프의 알제브라적 연결성을 측정해, 타당한 증명에서는 토큰 간 연관성이 고르게 퍼져 λ₂가 크게 나타난다. 둘째, 고주파 에너지 비율(HFER)은 라플라시안 고유값 중 상위 20 %에 해당하는 에너지 비중을 의미하며, 논리적 비일관성은 고주파 성분을 과도하게 활성화시켜 HFER을 상승시킨다. 셋째, 그래프 신호 부드러움은 토큰 특성(예: 임베딩)과 라플라시안의 내적 ‖xᵀLx‖으로 정의되며, 부드러운 신호는 의미적 흐름이 연속적임을 나타낸다. 넷째, 스펙트럼 엔트로피는 전체 고유값 분포의 엔트로피로, 복잡한 추론일수록 엔트로피가 낮아진다.

실험에서는 7개의 사전 학습된 트랜스포머 모델을 대상으로, 인간이 라벨링한 2,400개의 수학 증명(정답/오답) 데이터를 사용해 각 지표의 통계적 차이를 검증했다. 피델러 값과 HFER은 대부분 모델에서 p < 10⁻¹¹⁶ 수준의 유의미한 차이를 보였으며, Cohen’s d는 2.5~3.3까지 기록되었다. 특히 Mistral‑7B는 슬라이딩 윈도우 주의 구조 때문에 초기 레이어에서 HFER 차이가 미미하지만, 후기 레이어에서 부드러움 지표가 강력한 구분력을 제공한다(p = 1.16 × 10⁻⁴⁸, d = 2.09).

가장 주목할 점은 별도의 학습이나 파인튜닝 없이 단일 임계값(threshold)만으로 85‑95 %의 분류 정확도를 달성했다는 점이다. 이는 스펙트럴 지표가 모델 내부의 “논리 일관성”을 직접 포착한다는 증거이며, 기존의 정형 검증기(formal verifier)가 기술적 오류(예: 증명 스텝 누락)로 거부한 경우에도 스펙트럴 방법은 유효성을 인식한다.

이러한 결과는 스펙트럴 그래프 분석이 대규모 언어 모델의 추론 과정을 투명하게 드러내는 도구가 될 수 있음을 시사한다. 특히, hallucination 방지, AI 안전 모니터링, 그리고 자동 증명 보조 시스템에 적용하면, 인간 검증 비용을 크게 절감하면서도 높은 신뢰성을 유지할 수 있다. 향후 연구에서는 다른 도메인(코드 생성, 과학 논문 요약)으로 확장하고, 다중 지표 결합을 통한 복합 신호 모델링을 탐색할 필요가 있다.