배치 인퍼런스를 활용한 순차적 몬테카를로 프레임워크에서 신경망 학습 가속화

초록

본 논문은 순차적 몬테카를로(SMC) 샘플러에 미니배치 기반 데이터 annealing 기법을 도입해, 전체 데이터셋을 매번 사용하던 기존 방식 대비 최대 6배 빠른 학습 속도를 달성하면서도 이미지 분류 정확도는 크게 떨어지지 않음을 실험적으로 입증한다.

상세 분석

이 연구는 베이지안 신경망에서 사후분포를 직접 샘플링하는 SMC 방법의 계산 비용이 전체 배치에 대한 로그우도와 그라디언트 평가에 크게 의존한다는 점에 주목한다. 기존 SMC는 파티클을 사전분포에서 초기화하고, 마코프 커널(HMC 또는 Langevin)로 전이시키며, 중요도 가중치를 재계산하고 필요 시 재샘플링한다. 이러한 과정에서 매 반복마다 전체 데이터 N에 대해 로그우도 p(y₁:N|θ)와 그라디언트 ∇log p(y₁:N|θ)를 계산하면 GPU 메모리와 연산량이 급증한다.

논문은 이를 완화하기 위해 ‘데이터 annealing(DA)’이라는 단계적 배치 확대 전략을 제안한다. 초기에는 작은 미니배치 C(=500)만 사용해 빠르게 파티클을 고확률 영역으로 이동시키고, 이후 매 단계마다 고정 크기 κ(=500)의 미니배치를 추가한다. 배치 크기 M_k는 사전 정의된 스케줄(Constant, Full‑batch, Constant‑to‑refine, Linear, Automated) 혹은 엔트로피 기반 자동 조정(Smooth DA, SDA)으로 결정된다. SDA는 현재 파티클 집합의 로그우도 변동성 Var(Ω̂_k)와 공분산 Cov(Ω_k,Ω̂_k)를 이용해 샤논 엔트로피 변화 ΔS를 일정하게 유지하도록 β_k를 조절한다. β_k가 1에 도달하면 새로운 미니배치를 추가하고 β_k를 초기값(0.1)으로 재설정한다.

핵심 기술적 기여는 다음과 같다.

1. 그라디언트 기반 마코프 커널: HMC를 3단계 leapfrog와 step size h=0.002로 사용해 고차원 파라미터 공간에서도 효율적인 탐색을 보장한다.
2. 가중치 업데이트의 변형: accept‑reject 절차 없이도 변환 행렬식이 상쇄되도록 제안분포 q_k와 L‑kernel L_k를 설계, 식(12)와 같이 단순화된 가중치 식을 도출한다.
3. 데이터 annealing 스케줄: Linear와 Automated은 배치 크기를 선형적으로 증가시키지만, Constant‑to‑refine(CTR)은 초기 장기간 고정 배치 후 짧은 전체 배치 단계만 수행해 연산량을 크게 절감한다. SDA는 엔트로피 기반 적응형 스케줄로, 파티클 집합의 불확실성이 감소함에 따라 배치 확대 속도를 자동 조절한다.
4. 복합 비용 분석: 각 스케줄의 복잡도는 O(γ(M_k) S)이며, γ는 단일 데이터 포인트당 그라디언트 연산 비용, S는 leapfrog 단계 수이다. 미니배치를 점진적으로 늘리면 평균 γ(M_k) 가 초기에는 작아 전체 연산량이 크게 감소한다.

실험에서는 LeNet‑5(61 706 파라미터)와 더 큰 CNN(96 658 파라미터)을 각각 MNIST, FashionMNIST, 그리고 변형된 Full‑MNIST에 적용했다. 5개의 무작위 시드에 대해 200 iteration을 수행했으며, 성능 지표는 테스트 손실, 정확도, 그리고 런타임이다. 결과는 다음과 같다.

• Full‑batch는 가장 높은 정확도(≈98 %)와 낮은 손실을 기록했지만, 런타임이 가장 오래 걸렸다.
• Constant 스케줄은 20배 가량 속도 향상을 보였지만 정확도가 약 1 % 정도 감소했다.
• CTR은 전체 배치 단계만 마지막에 사용함으로써 Full‑batch에 근접한 정확도(≈97.8 %)와 6.6배 가량의 속도 향상을 동시에 달성했다.
• Linear와 Automated는 CTR보다 약간 낮은 정확도를 보였지만, SDA가 가장 일관된 성능을 보여 엔트로피 기반 조절이 효과적임을 시사한다.
• Langevin 기반 파티클은 HMC 대비 전반적으로 낮은 정확도와 높은 변동성을 나타냈다.

결론적으로, 데이터 annealing을 통한 배치 점진적 확대는 SMC 샘플러의 계산 부담을 크게 낮추면서도 베이지안 신경망 학습의 정확도 손실을 최소화한다는 점을 입증한다. 향후 연구는 자동화된 leapfrog 단계 수 조절, 적응형 질량 행렬, 그리고 분산 GPU 클러스터에서의 확장성을 탐구할 여지가 있다.