스파크 기반 RDF 쿼리 엔진 S2RDF와 ExtVP 파티셔닝

초록

S2RDF는 Spark 위에 구현된 SPARQL 엔진으로, 기존 수직 파티셔닝(VP)을 확장한 ExtVP 방식을 도입해 반조인 기반의 사전 처리로 입력 데이터 양을 크게 줄인다. ExtVP는 모든 쿼리 패턴 형태에 대해 효율적인 조인 순서를 제공하며, 선택도 임계값을 통해 저장 오버헤드를 제어한다. WatDiv 벤치마크에서 10억 트리플 규모 그래프에 대해 대부분의 쿼리를 1초 이하로 처리하며, 기존 Hadoop 기반 SPARQL 엔진보다 월등히 빠른 성능을 보인다.

상세 분석

S2RDF는 RDF 데이터를 Spark SQL의 관계형 테이블 형태로 저장함으로써, Spark의 Catalyst 옵티마이저와 컬럼형 저장 포맷인 Parquet의 장점을 동시에 활용한다. 핵심 기법인 ExtVP(Extended Vertical Partitioning)는 기존 VP 스키마에서 파생된 것으로, 각 프레디케이트(p)마다 (subject, object) 두 컬럼을 갖는 테이블을 만든 뒤, 서로 다른 프레디케이트 간의 조인 가능성을 사전 계산한다. 구체적으로, 두 VP 테이블 사이에 존재할 수 있는 조인 유형(Subject‑Subject, Subject‑Object, Object‑Subject, Object‑Object)을 모두 고려해 반조인(semi‑join) 결과를 미리 물리화하고, 이를 별도 ExtVP 테이블로 저장한다. 이렇게 하면 쿼리 실행 시 불필요한 레코드를 사전에 필터링할 수 있어, 입력 데이터 규모가 크게 감소한다.

ExtVP는 조인 선택도를 정량화한 통계 정보를 유지한다. 쿼리 컴파일 단계에서 S2RDF는 BGP(기본 그래프 패턴)의 각 트리플 패턴에 대해 가장 높은 선택도를 가진 ExtVP 테이블을 자동으로 선택한다. 선택도 임계값(threshold)을 도입해, 선택도가 낮은 ExtVP 테이블은 저장하지 않음으로써 전체 저장 용량을 VP 대비 적절히 제어한다. 이는 저장 비용과 성능 사이의 트레이드오프를 유연하게 관리할 수 있게 한다.

Spark SQL 기반 실행 엔진은 DataFrame 연산으로 변환된 SPARQL 쿼리를 Catalyst가 최적화하도록 하며, 조인 순서 재배치, 컬럼 프루닝, 파티션 프루닝 등을 자동 적용한다. 또한, Parquet 파일은 컬럼 압축과 사전 스키마 정보를 제공하므로, 메모리 사용량을 최소화하고 디스크 I/O를 크게 감소시킨다.

성능 평가에서는 WatDiv 13가지 쿼리 유형(Star, Linear, Snowflake 등)을 포함한 108개의 쿼리를 1,000,000,000 트리플 규모 데이터셋에 대해 실행했다. S2RDF는 평균 응답 시간이 0.5초 수준이며, 기존 Hadoop 기반 엔진인 Hive‑RDF, Sempala, H2RDF 등은 수초에서 수십초에 달한다. 특히, 긴 체인형 Linear 쿼리와 복합 Snowflake 쿼리에서도 ExtVP가 조인 후보를 효과적으로 제한해 성능 저하를 방지한다.

요약하면, ExtVP는 반조인 기반 사전 필터링을 통해 입력 데이터 양을 최소화하고, Spark SQL의 고성능 실행 엔진과 결합해 다양한 쿼리 패턴에 대해 일관된 서브초 응답을 제공한다. 이는 기존 Hadoop 기반 SPARQL 엔진이 특정 패턴에 최적화된 반면, 다른 패턴에서는 급격히 성능이 떨어지는 문제를 근본적으로 해결한다는 점에서 큰 의의를 가진다.