선형 방정식 해법의 확률적 해석과 불확실성 추정
이 논문은 양정치 행렬 B 에 대한 선형 시스템 Bx = b 를 풀 때, 기존의 점 추정 대신 B⁻¹ (= H)의 원소들에 대한 가우시안 사후분포를 유지하는 확률적 프레임워크를 제시한다. Dennis 계열의 준뉴턴 업데이트를 확률적 관점에서 재해석하고, 특히 DFP와 BFGS가 전체 알고리즘 과정에서 정확한 베이지안 추론과 일치함을 보인다. 또한, CG와 BFGS가 동일한 탐색 방향을 생성한다는 사실을 이용해 사후 공분산을 효율적으로 계산함으로…
저자: Philipp Hennig
1. **서론 및 동기**
- 선형 시스템 Bx = b ( B 양정치 대칭) 은 수치선형대수의 기본 문제이며, 차원이 커서 직접 해를 구하기 어려울 때는 CG와 같은 반복법을 사용한다.
- 기존 반복법은 매 단계마다 해 xᵢ 와 잔차 rᵢ 만을 제공하고, 행렬 B 또는 그 역 H 에 대한 정보와 불확실성은 제공하지 않는다.
- 저자는 “M < N 단계에서 얻은 정보가 B와 H에 대해 얼마나 많은 정보를 제공하는가?”라는 질문을 제기하고, 이를 확률적 관점에서 답하고자 한다.
2. **Dennis 계열의 준뉴턴 업데이트**
- Dennis(1971)는 cᵢ 벡터를 매개로 하는 2‑rank 업데이트 식(1.2)을 제시했으며, 이는 SR1, DFP, BFGS, Greenstadt 등 다양한 규칙을 포함한다.
- 각 규칙은 cᵢ 의 선택에 따라 달라지며, 전통적으로는 최소 Frobenius 변화량을 만족하도록 설계되었다.
3. **확률적 해석의 기본 아이디어**
- 가우시안 사전 p(B)=𝒩( B₀, W⊗W ) 를 설정하고, 관측 BS=Y (또는 HY=S) 을 선형 관측으로 모델링한다.
- 베이즈 정리를 적용하면 사후 평균은
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기