SIMD 기반 MCMC 샘플링으로 빅데이터 베이지안 분석 가속화

본 논문은 베이지안 그래프 모델에서 MCMC Gibbs 샘플링을 효율적으로 가속화하기 위한 SIMD 병렬화 기법을 제안하고, 이를 실제 하드웨어에 적용해 실질적인 성능 향상을 입증한다. 서론에서는 베이지안 추론이 데이터 규모와 차원 수가 커짐에 따라 계산 비용이 급증하고, 전통적인 멀티코어·멀티스레드 수준의 병렬화만으로는 메모리 대역폭 한계와 벡터 유닛 활용 부족을 극복하기 어렵다는 배경을 제시한다. 특히, 현대 CPU가 코어 수와 SIMD 폭을 확대하면서도 단일 코어 클럭 속도는 포화 상태에 이른 점을 강조한다. 2장에서는 기존 병렬 MCMC 연구를 정리하고, 두 가지 SIMD 병렬화 기회를 정의한다. 첫 번째는 교환 가능한 모델(예: 베이지안 GLM)에서 각 관측치가 자식 노드에 기여하는 로그우도·그라디언트 항을 독립적으로 계산할 수 있다는 점이다. 이때 관측치별 연산을 동일한 루프에 묶어 벡터 레지스터에 로드하면, 연산당 메모리 접근이 연속적이므로 캐시 효율이 크게 향상된다. 두 번째는 무향 그래프에서 조건부 독립인 노드 집합을 색칠(그래프 컬러링)하여 동시에 샘플링하는 방법이다. 조건부 독립성을 보장하는 두 가지 조건(서로가 부모·자식 관계가 없고, 공통 자식이 없음)을 정리하고, 이 조건을 만족하는 노드 블록을 찾아 SIMD 루프에 매핑한다. 3장에서는 베이지안 로지스틱 회귀(베이지안 GLM)의 구현 세부 사항을 다룬다. 데이터 구조를 SoA 형태로 재배열하고, 64‑byte 정렬을 적용해 AVX/AVX‑512 레지스터에 효율적으로 로드한다. 조건부 포스터리어와 그라디언트를 계산할 때는 “차분 업데이트” 방식을 도입해 이전 반복에서 변하지 않은 관측치의 기여를 재사용한다. 또한, OpenMP 기반 멀티스레딩을 사용해 코어당 NUMA 로컬 메모리를 고정하고, 스레드 간 동기화 비용을 최소화한다. 이와 함께, Intel MKL BLAS를 이용한 행렬 연산을 벡터화된 루프와 결합해 전체 파이프라인을 최적화한다. 실험에서는 10 M 관측치·500 변수 로지스틱 회귀에서 기존 멀티스레드 MKL 구현 대비 5.1× 가속을 달성했으며, 메모리 대역폭 한계(≈ 70 GB/s)에 근접하는 성능을 보였다. 4장에서는 확장 가능성을 논의한다. 계층적 베이지안 GLM, 파생 변수(예: 라플라시안 정규화) 계산, Ising 모델 및 볼츠만 머신과 같은 이산형 무향 그래프에 동일한 SIMD 전략을 적용한다. 특히 Ising 모델에서는 색칠 기반 SIMD 샘플링이 기존 색칠‑기반 멀티스레드보다 2.8× 빠르게 수렴했으며, GPU와 Xeon Phi에서도 동일한 최적화 패턴이 적용 가능함을 실증한다. 또한, 배치 난수 생성기(Batch RNG)와 컴파일 타임 루프 언롤링을 통해 함수 호출 오버헤드를 제거하고, 벡터 레지스터 활용률을 90 % 이상으로 끌어올렸다. 5장에서는 전체 결과를 요약하고, 향후 연구 방향을 제시한다. 제안된 “변환·튜닝(transform‑and‑tune)” 전략은 SIMD 폭이 확대되는 차세대 아키텍처(예: ARM SVE, 차세대 Xeon Phi)에도 직접 이식 가능하도록 설계되었다. 또한, NUMA 인식 메모리 배치와 벡터화가 결합된 접근법은 메모리 대역폭이 병목이 되는 데이터 집약형 베이지안 분석에 특히 효과적이다. 최종적으로, 이 논문은 베이지안 MCMC 샘플링을 실시간 혹은 대규모 배치 환경에 적용할 수 있는 실용적인 가이드라인을 제공하며, CPU·GPU·Many‑core 환경 전반에 걸친 비용 효율성, 에너지 효율성, 그리고 스케일러블 성능을 동시에 달성한다.