안정적인 수치 미분으로 피셔 예측과 MCMC 연결

초록

DerivKit은 파이썬 기반의 수치 미분 엔진과 파생 도구들을 제공하여, 파라미터에 대한 모델 출력의 안정적인 도함수를 계산한다. 고차 미분을 활용한 DALI 확장을 통해 피셔 행렬 기반의 가우시안 예측을 넘어 비가우시안 사후분포를 근사할 수 있으며, 자동 미분이 불가능한 블랙박스·표 형식 모델에도 적용 가능하다.

상세 분석

DerivKit은 크게 네 가지 핵심 모듈로 구성된다. 첫 번째인 DerivativeKit은 고차 중앙 차분(stencil)과 리처드슨·리더스·가우스‑리처드슨 등 다양한 외삽·안정화 기법을 구현한다. 3·5·7·9점 스텐실을 이용해 1차부터 4차까지의 도함수를 계산하고, Richardson 외삽을 통해 스텝 크기에 대한 민감도를 최소화한다. 두 번째인 PolynomialFit 엔진은 노이즈가 큰 혹은 수치적으로 경직된 함수에 대해 로컬 다항식 피팅을 수행한다. 고정 윈도우와 적응형 윈도우 두 가지 방식을 제공하며, 적응형 모드는 체비쉐프 샘플링 그리드를 자동 생성하고, 차수와 스케일을 동적으로 조정한다. 피팅 품질을 정량화하는 진단 메트릭을 내장해 불안정한 추정이 감지되면 경고를 발생한다. 세 번째인 CalculusKit은 DerivativeKit의 원시 도함수를 받아 Gradient, Jacobian, Hessian, 고차 텐서 등을 일관된 인터페이스로 조립한다. 이는 스칼라·벡터 모델 모두에 적용 가능하며, 내부적으로 차원 축소와 메모리 효율을 위해 자동 broadcasting을 지원한다. 마지막으로 ForecastKit은 앞서 만든 미분 텐서를 이용해 Fisher 행렬, Fisher bias, 그리고 DALI 기반의 비가우시안 로그우도 전개를 수행한다. 특히 DALI는 2차·3차·4차 도함수를 결합해 로그우도의 테일을 보정함으로써 MCMC와 유사한 사후 형태를 빠르게 근사한다. DerivKit은 이러한 전체 파이프라인을 진단 로그와 경고 체계로 감싸, 파라미터 스텝 선택, 노이즈 수준, 피팅 조건 등에 대한 자동 검증을 제공한다. 실험 결과는 노이즈 σ=0.2인 경우 적응형 다항식 피팅이 표준 중앙 차분보다 평균 절대 오차를 2배 이상 감소시킴을 보여준다. 또한, DALI 전개를 이용한 비가우시안 등고선은 MCMC(Emcee) 샘플링 결과와 시각적으로 일치하며, Fisher 행렬만을 사용했을 때 발생하는 과도한 타원형 근사와 대비된다. 전반적으로 DerivKit은 자동 미분이 불가능한 레거시 시뮬레이션, 테이블형 모델, 혹은 불연속성을 포함한 복합 파이프라인에서도 신뢰할 수 있는 도함수 추정을 가능하게 하여, 고차 베이지안 추론과 빠른 민감도 분석 사이의 격차를 메우는 실용적인 도구임을 입증한다.