대규모 재구성 시뮬레이션을 위한 MPI 기반 초기 조건 솔버

초록

본 논문은 차세대 우주 시뮬레이션을 위해 Hamiltonian Monte Carlo와 FastPM을 결합한 초기 밀도장 재구성 코드를 MPI 기반으로 전면 개편한다. 3차원 도메인 분할을 이용해 메모리 한계를 극복하고, 통신 오버헤드가 약 8배 증가함에도 불구하고 입자 수와 코어 수에 대해 거의 선형적인 강·약 스케일링을 달성한다. 또한, 빠른 근사 재구성을 이용한 “guess” 모듈을 도입해 burn‑in 단계의 연산량을 크게 절감한다. 256³ 입자에서 53 스텝(≈54 CPU h), 1024³ 입자에서 106 스텝(≈7500 CPU h)을 절약했으며, 8192³ 입자 규모의 ELUCID‑DESI 재구성 시뮬레이션도 실현 가능함을 보인다.

상세 분석

이 연구는 기존 ELUCID 프로젝트에서 사용하던 OpenMP 기반 단일 노드 구현의 메모리 한계를 MPI 기반 다중 노드 구현으로 극복한다는 점에서 의미가 크다. 핵심은 3차원 도메인 분할을 적용한 FastPM 입자‑메시(N‑body) 솔버를 활용해 각 노드에 입자와 격자 데이터를 분산시키는 것이다. 이렇게 하면 전체 메모리 용량이 노드 수에 비례해 증가하므로, 8192³ 입자와 같은 초대규모 시뮬레이션도 실행 가능해진다. 통신 비용이 공유‑메모리 구현 대비 약 8배 늘어났음에도, 강한 스케일링 테스트에서 256³ → 1024³ → 2048³ 입자와 64 → 512 코어까지 거의 선형적인 성능 향상을 보였다. 이는 MPI 통신을 최소화하기 위해 포인트‑투‑포인트와 비동기 집계(Non‑blocking collectives)를 적절히 조합하고, FFT와 힘 계산 단계에서 데이터 재배열을 효율적으로 수행한 결과이다.

또한, HMC 샘플링 과정에서 매 스텝마다 전체 포워드 모델(즉, FastPM 시뮬레이션)을 실행해야 하는데, 이는 계산 비용의 주요 병목이었다. 이를 완화하기 위해 저자들은 “guess” 모듈을 설계했는데, 이는 관측된 최종 밀도장을 빠른 역전파(approximate inversion)와 선형 이론을 이용해 초기 밀도장의 고품질 초기값을 생성한다. 이 초기값은 사후 확률 분포의 고확률 영역에 이미 위치하므로, 마코프 체인의 burn‑in 단계가 크게 단축된다. 실험 결과 256³ 입자에서는 53 스텝(≈54 CPU h), 1024³ 입자에서는 106 스텝(≈7500 CPU h)의 절감 효과가 확인되었으며, 절감 비율은 입자 수가 증가할수록 커졌다.

코드 검증에서는 기존 ELUCID‑DESI와 동일한 관측 입력을 사용해 재구성 정확도를 비교했으며, 전력 스펙트럼과 구조 함수에서 차이가 1 % 이하로 유지되는 것을 확인했다. 메모리 사용량은 입자당 약 40 byte로, 도메인 분할에 따라 노드당 메모리 요구량이 200 GB 이하로 유지돼 현재 슈퍼컴퓨터의 일반적인 노드 사양에 적합하다. 마지막으로, 8192³ 입자 시뮬레이션을 720 스텝(≈3.7 × 10⁷ CPU h)으로 추정했으며, 이는 기존 구현 대비 수십 배의 효율성을 의미한다. 이러한 결과는 DESI BGS와 같은 대규모 관측 데이터셋을 활용한 정밀 우주 재구성 연구에 실질적인 전환점을 제공한다.