스파크 기반 공간 시간 Ripley K 함수 최적화와 가속

초록

본 논문은 대규모 시공간 포인트 데이터에 대해 Apache Spark를 활용한 분산 처리 기법을 제안한다. 네 가지 최적화 전략을 통해 공간‑시간 Ripley K 함수의 거리 계산, 엣지 보정, 시뮬레이션 과정을 간소화하고, 웹 기반 시각화 분석 프레임워크와 결합하여 생태학·지리학·도시 교통 등 다양한 분야에서 실시간 분석이 가능함을 실험적으로 입증한다.

상세 분석

Space‑time Ripley’s K 함수는 모든 포인트 쌍에 대해 시공간 거리와 시간 차이를 계산하고, 경계 효과를 보정한 뒤 무작위 시뮬레이션을 수행해야 하기 때문에 계산 복잡도가 O(N²) 수준으로 급격히 증가한다. 기존 연구들은 OpenMP, MPI, CUDA 등 공유 메모리 혹은 GPU 기반 병렬화를 적용했으나, 주로 2차원 공간 차원에 국한되었고 시공간 차원 확장 시 데이터 파티셔닝과 쿼리 최적화가 부족했다. 이 논문은 이러한 한계를 극복하기 위해 Spark의 RDD와 DataFrame 기반 분산 메모리 모델을 채택하고, 네 가지 핵심 전략을 설계하였다. 첫째, 시공간 그리드 파티셔닝을 도입해 데이터 로컬리티를 확보하고, 파티션 간 중복 계산을 최소화한다. 둘째, 거리 계산 단계에서 브로드캐스트 변수를 활용해 전역 파라미터(예: 분석 스케일, 시간 윈도우)를 모든 워커에게 효율적으로 전달한다. 셋째, 엣지 보정은 파티션 경계 버퍼를 미리 생성하고, 경계 버퍼 내 포인트에 대해서만 별도 보정 연산을 수행함으로써 전체 데이터에 대한 반복 스캔을 방지한다. 넷째, Monte‑Carlo 시뮬레이션 단계는 워커 별 독립적인 난수 시드와 샘플링을 이용해 완전한 병렬성을 확보하고, 결과를 Reduce 단계에서 집계한다. 이러한 설계는 Spark의 DAG 최적화와 스케줄러가 자동으로 작업을 병합·재배치하도록 유도해, 네트워크 I/O와 디스크 스와핑을 최소화한다. 실험에서는 10만~100만 포인트 규모 데이터셋에 대해 기존 MPI 구현 대비 6배 이상, 단일 머신 CUDA 구현 대비 3배 이상의 속도 향상을 기록했으며, 확장성 테스트에서도 워커 수를 2배 늘릴 때 거의 선형적인 처리 시간 감소를 확인했다. 또한, 웹 기반 시각화 모듈은 Spark UI와 연동해 실시간 K 함수 곡선, 클러스터링 히트맵, 시간별 변동 그래프 등을 제공함으로써 분석가가 파라미터를 즉시 조정하고 결과를 검증할 수 있게 한다.