고차원 파라미터를 위한 그래디언트 기반 SMC 제안으로 부분 베이지안 신경망 학습 혁신

초록

본 논문은 부분 베이지안 신경망(pBNN)의 학습에 순차적 몬테카를로(SMC) 샘플러를 적용하면서, 목표 분포에 맞춘 그래디언트 기반 마코프 커널(특히 비조정 라그랑주 다이내믹스, LD)을 도입한 GOHSMC 알고리즘을 제안한다. 가이드된 제안(proposal)과 새로운 가중치 업데이트 방식을 통해 고차원 스토캐스틱 파라미터 공간을 효율적으로 탐색하고, 배치 크기를 크게 늘려도 학습 시간을 크게 단축한다. 6개의 UCI 회귀 벤치마크에서 기존 OHSMC와 다른 SOTA 방법들을 능가하는 예측 정확도와 불확실성 정량화 지표를 기록한다.

상세 분석

본 연구는 부분 베이지안 신경망(pBNN)에서 확률적 파라미터 θ와 결정적 파라미터 ψ를 분리하고, θ에 대한 사후분포를 비모수적으로 추정하기 위해 SMC 샘플러를 활용한다. 기존 OHSMC는 부트스트랩 방식의 랜덤 워크(RW) 커널을 사용해 제안 분포가 목표 분포와 크게 차이 나는 문제를 안고 있었으며, 고차원 θ에 대해 효율성이 떨어졌다. 이를 해결하기 위해 저자들은 두 가지 핵심 개선을 도입한다. 첫째, “가이드된” 제안으로, 현재 파티클이 목표 사후분포 π(θ|ψ)와 일치하도록 설계된 마코프 커널을 사용한다. 구체적으로, 비조정 라그랑주 다이내믹스(Langevin dynamics, LD)를 채택해 ∇logπ(θ|ψ) 방향으로 움직이며, 모멘텀 P를 도입해 전진 제안과 역전 제안을 모두 정의한다. 이때 전진 L‑kernel을 사용해 제안 확률 밀도와 역제안 밀도 사이의 정규화 상수를 정확히 계산함으로써, 중요도 가중치를 통해 목표 분포 불변성을 보정한다. 둘째, 가중치 업데이트 식(20)을 새롭게 도출하여, ψ에 조건화된 π(θ|ψ)와 모멘텀의 가우시안 분포를 명시적으로 포함시켰다. 이로써 파티클이 재샘플링 후에도 정보 손실 없이 연속적인 사후 추정이 가능해진다. 알고리즘 흐름은 (1) 미니배치 y_S^M를 샘플링, (2) 현재 파티클을 LD 기반 q_θ_t 로 전파, (3) 새 가중치를 (20) 으로 업데이트, (4) 정규화된 가중치로 스토캐스틱 그라디언트 g(ψ) 를 계산하고 ψ를 학습률 ϵ 로 업데이트한다. 이 과정은 OHSMC와 달리 파티클이 이전 반복의 사후를 초기값으로 사용하므로 “워밍 스타트” 효과가 있어 수렴 속도가 빨라진다. 복잡도 측면에서는 전통 OHSMC가 O(J·C_f) 인 반면, GOHSMC는 전·후방 패스가 모두 필요해 O(2J(C_f+C_b)) 이지만, 현대 GPU에서 C_f와 C_b가 비슷한 수준이므로 실제 실행 시간은 배치 크기 확대와 파티클 수 감소으로 상쇄된다. 실험에서는 J=100, 배치 크기 50~100, 3‑layer Feed‑Forward 네트워크(GeLU)와 다양한 첫 레이어 폭을 사용했으며, 6개 UCI 데이터셋에서 RMSE, R², NLL, CRPS 등 다중 지표에서 기존 OHSMC RW 커널 및 VI, SGHMC, SW‑AG, SVGD 등과 비교해 일관적으로 우수한 성능을 보였다. 특히 고차원(예: Naval Propulsion)에서 LD 기반 제안이 파티클 다양성을 유지하며 사후 분포를 정확히 추정함을 확인했다. 결론적으로, 그래디언트 기반 마코프 커널과 가이드된 제안을 결합한 GOHSMC는 pBNN 학습에 있어 고차원 스토캐스틱 파라미터를 효율적으로 탐색하고, 배치 규모 확대에 따른 학습 시간 감소와 예측 정확도 향상을 동시에 달성한다는 점에서 의미가 크다.