대규모 역사 그래프 저장·분석 시스템

초록

본 논문은 시간에 따라 변화하는 대규모 그래프 데이터를 효율적으로 저장하고, 과거 스냅샷 및 노드·이웃의 변천사를 빠르게 조회할 수 있는 Temporal Graph Index(TGI)와 Spark 기반의 Temporal Graph Analysis Framework(TAF)를 제안한다. TGI는 차분(delta) 기반 압축과 파티셔닝을 활용해 저장 공간을 최소화하면서 복사·로그 방식의 장점을 결합하고, TAF는 노드 중심의 연산자를 제공해 복잡한 시간적 그래프 분석을 분산 환경에서 손쉽게 수행한다. 실험 결과, 다양한 조회·분석 쿼리에서 높은 성능과 확장성을 입증한다.

상세 분석

이 논문은 기존 그래프 데이터베이스가 정적인 스냅샷만을 지원하는 한계를 지적하고, 시간축을 포함한 그래프 분석 요구를 충족시키기 위한 두 가지 핵심 모듈을 설계한다. 첫 번째 모듈인 Temporal Graph Index(TGI)는 그래프 변화를 ‘이벤트’ 혹은 ‘델타’ 형태로 기록하고, 이를 시간 중심과 엔터티 중심 두 축에 모두 최적화된 구조로 저장한다. 구체적으로, TGI는 (1) 그래프를 여러 파티션으로 나누어 각 파티션을 독립적인 키‑밸류 스토어(Cassandra)에 저장함으로써 수평 확장을 가능하게 하고, (2) 차분 압축 기법을 적용해 로그 방식의 저장 효율성을 유지하면서도, 적절한 스냅샷 복제와 인덱싱을 통해 복사 방식에 가까운 빠른 접근성을 제공한다. 또한, 파라미터화된 ‘버킷 크기’와 ‘시간 간격’ 설정을 통해 조회 대상(노드, 1‑hop 이웃, 전체 그래프)의 규모에 맞는 최적의 청크 크기를 선택하도록 설계하였다. 이러한 설계는 노드 히스토리 조회, 특정 시점 스냅샷 재구성, 그리고 다중 시간 구간에 걸친 집계 연산 등 다양한 질의 패턴을 균형 있게 지원한다.

두 번째 모듈인 Temporal Graph Analysis Framework(TAF)는 Spark RDD 위에 노드‑시간 집합(Set of Nodes, SoN) 개념을 도입하고, Select, Timeslice, Filter, Map, MapDelta와 같은 연산자를 제공한다. 이 연산자는 그래프의 시간적 변화를 함수형으로 표현하게 해, 사용자가 복잡한 분석 파이프라인을 선언적 코드로 기술할 수 있게 한다. 예를 들어, 특정 기간 동안의 평균 차수 변화, 시간에 따른 커뮤니티 구조 진화, 혹은 동적 페이지랭크 변동 등을 단일 파이프라인으로 정의하고, Spark의 클러스터 자원을 활용해 노드와 시간 단위로 자동 병렬화한다. TAF는 또한 Python 및 Java API를 제공해 기존 데이터 과학 도구와의 연계성을 높였으며, 내부적으로는 TGI에서 필요한 델타 데이터를 효율적으로 프리페치하고 캐시한다.

실험에서는 수억 개의 노드와 수십억 개의 엣지를 포함하는 실제 소셜 네트워크 데이터셋을 사용해, (1) 저장 용량 대비 압축 비율, (2) 스냅샷 재구성 시간, (3) 노드 히스토리 조회 지연, (4) 복합 분석 워크플로우의 전체 실행 시간 등을 평가하였다. 결과는 TGI가 기존 Copy‑Log 기반 인덱스보다 2‑3배 적은 저장 공간을 차지하면서도, 평균 스냅샷 조회 시간을 30% 이하로 감소시켰으며, TAF는 64노드 클러스터에서 선형에 가까운 확장성을 보였다.

핵심 인사이트는 (가) 차분 기반 압축과 파티셔닝을 결합한 하이브리드 인덱스가 시간·엔터티 양쪽 조회 요구를 동시에 만족한다는 점, (나) Spark와 같은 데이터‑플레인 프레임워크 위에 시간‑노드 연산자를 추상화함으로써 복잡한 동적 그래프 분석을 선언적이고 확장 가능하게 구현할 수 있다는 점이다. 이러한 설계는 향후 실시간 스트리밍 그래프와 연계하거나, 머신러닝 파이프라인에 시간적 그래프 피처를 삽입하는 등 다양한 응용으로 확장될 여지를 제공한다.