대규모 환경 데이터 과학을 위한 ExaGeoStatR

초록

ExaGeoStatR는 R 환경에서 고성능 병렬 연산을 활용해 정확한 최대우도 추정과 시뮬레이션을 수행하는 패키지이다. 행렬 연산을 타일 기반 작업으로 분할하고, 공유‑메모리, GPU, 분산‑메모리 시스템을 지원한다. 정확한 계산 외에도 DST, TLR, 혼합 정밀도 등 근사 방법을 제공하며, 25만 개 이상의 관측점에 대해 실험을 수행하였다. 기존 R 패키지인 geoR와 fields와 비교해 연산 속도와 확장성이 크게 향상된다.

상세 분석

본 논문은 대규모 환경 데이터에서 Gaussian Process(GP) 모델의 정확한 최대우도 추정(MLE)이 요구하는 O(n³) 연산과 O(n²) 메모리 부담을 해소하기 위해 ExaGeoStatR 패키지를 제안한다. 핵심 아이디어는 공통 선형 대수 연산을 타일 기반(task‑based)으로 분할하여, OpenMP, MPI, StarPU와 같은 런타임 시스템 위에서 자동으로 스케줄링하도록 설계한 점이다. 이를 통해 공유‑메모리 멀티코어, GPU 가속, 그리고 클러스터와 슈퍼컴퓨터와 같은 분산‑메모리 환경에서도 동일한 C‑코드 기반 라이브러리를 재사용할 수 있다.

패키지는 네 가지 연산 모드를 제공한다. 1) Fully‑Dense(Exact) 모드에서는 double‑precision 전체 행렬을 타일 단위로 저장·연산해 정확한 Cholesky 분해와 로그‑우도 계산을 수행한다. 2) Diagonal Super Tile(DST) 모드에서는 대각선 타일을 제외한 오프‑대각선 타일을 0으로 처리해 메모리 사용량을 크게 줄인다. 3) Tile Low‑Rank(TLR) 모드에서는 각 타일을 저‑랭크 근사로 압축해 연산 복잡도를 O(n²·r) 수준으로 낮춘다(여기서 r은 근사 랭크). 4) Mixed‑Precision(MP) 모드에서는 핵심 연산을 반정밀도(float)로 수행하고, 중요한 단계만 double‑precision으로 보정해 연산 속도와 에너지 효율을 동시에 개선한다.

수치 실험에서는 2D 정규 격자와 실제 해양 표면 온도(SST) 데이터를 사용해 2만25만 관측점 규모의 문제를 해결하였다. 정확 모드에서는 geoR와 fields에 비해 5배30배 빠른 실행 시간을 보였으며, 특히 GPU와 다노드 MPI 환경에서 확장성이 뛰어났다. 근사 모드(DST, TLR)는 메모리 사용량을 70% 이상 절감하면서도 파라미터 추정 오차를 1% 이내로 유지하였다. 또한, NLopt 기반의 최적화 루틴을 R 인터페이스와 결합해 사용자가 복잡한 C/MPI 코드를 작성할 필요 없이 고성능 MLE를 수행할 수 있게 했다.

이와 같이 ExaGeoStatR는 기존 R 기반 지리통계 패키지들의 병렬화 한계를 뛰어넘어, 대규모 환경 데이터 과학에 필요한 정확도와 확장성을 동시에 제공한다는 점에서 의미가 크다.