변압기 회로의 불확실성을 측정하는 효과적 정보 일관성 점수

초록

본 논문은 대형 언어 모델(Large Language Model) 내부에서 발견되는 “Transformer Circuit”(TC)의 신뢰성을 단일 순전파 패스만으로 정량화하기 위해, 셰이프·코호몰로지와 인과적 등장(causal emergence) 이론을 결합한 Effective‑Information Consistency Score (EICS) 를 제안한다. EICS는 (1) 로컬 Jacobian과 활성값을 이용해 정의한 정규화된 셰이프 불일치 에너지 Cₛₕ와, (2) 동일한 Jacobian으로부터 계산한 가우시안 EI 프록시 ΔEI_G 를 차원 없는 형태로 결합한다. 논문은 수식적 정의, 계산 효율성(노드‑시드 JVP 방식), 이론적 안정성, 그리고 장난감 실험을 통해 점수의 직관을 검증한다. 실험적 검증은 향후 작업으로 남겨두었다.

상세 분석

이 논문은 메카니즘 해석(mechanistic interpretability) 분야에서 최근 부각된 “Transformer Circuit” 개념을 정량적 불확실성 측정 도구와 연결하려는 시도이다. 핵심 아이디어는 **“인과적 일관성”**을 수학적으로 정의하고, 이를 단일 순전파와 Jacobian 연산만으로 추정할 수 있다는 점이다.

1. 셰이프 불일치(Cₛₕ) 정의
   • 그래프 G_M 의 무방향 버전에 셰이프 F 를 부착하고, 각 정점 v 에는 활성 a_v∈ℝ^{d_v} 를, 각 방향성 있는 간선 e=(u→v) 에는 Jacobian ρ_{u→v}=∂f_v/∂a_u 를 할당한다.
   • 0‑코체인 s={s_v} 에 대해 코바운더리 δ₀s(e)=ρ_{u→v}s_u−s_v 로 정의하고, 실제 활성 a 를 대입해 에너지 형태의 불일치를 측정한다.
   • 정규화된 형태는
     \