기계적 해석의 통계적 추정: 분산 분석

초록

본 논문은 메커니컬 인터프리터블리티(MI)를 단일 입력에 대한 인과 매개 분석(CMA)의 점 추정이 아니라, 고유한 분산을 가진 통계적 추정 문제로 재구성한다. 정확한 CMA 점수는 입력과 교란 샘플링에 따라 큰 변동성을 보이며, 이를 근사하는 Edge Attribution Patching(EAP) 계열 방법은 추가적인 추정 잡음을 도입한다. 이러한 변동성은 전체 회로 발견 파이프라인에 전이·증폭되어, 데이터 재샘플링·하이퍼파라미터 변화에 따라 전혀 다른 회로가 도출된다. 저자는 변동성 원인을 체계적으로 분해하고, 부트스트랩 기반 불확실성 보고와 안정성 메트릭 도입을 권고한다.

상세 분석

논문은 먼저 메커니컬 인터프리터블리티가 “회로”라는 희소 서브그래프를 찾는 과정임을 상기한다. 이 회로는 개별 뉴런·엣지에 대한 인과 매개 효과(NIE)를 추정한 뒤, 그 기대값을 집계해 전역 중요도 μ_e 로 정의한다. 핵심은 단일 입력‑교란 쌍에 대해 정확히 계산되는 NIE 점수가 실제로는 확률 변수이며, 입력 x와 교란 x_corr의 샘플링에 따라 큰 내재적 분산을 가진다는 점이다. 수식 (1)에서 보듯, S(e,x,x_corr) = E