Probery 확률 기반 불완전 쿼리 최적화

초록

본 논문은 쿼리 결과가 모든 만족 레코드를 포함할 확률, 즉 “쿼리 완전성 확률”(PC)을 도입한다. PC를 일정 수준으로 설정하고, 그 이하의 불완전성을 허용함으로써 OLTP 환경에서 대규모 데이터에 대한 응답 시간을 크게 단축한다. 제안 시스템인 Probery는 데이터 배치와 조회 단계에서 확률 모델을 활용해 필요한 파티션만 스캔하도록 설계되었으며, Apache Drill 위에 구현되어 기존 Drill, Impala, Hive 대비 평균 1.3~1.8배 빠른 성능을 보인다. 실험을 통해 PC 보장율이 설정값을 초과함을 검증하고, 성능 향상이 실제 쿼리 정확도 손실 없이 이루어짐을 확인한다.

상세 분석

Probery는 “Probability of query Completeness(PC)”라는 새로운 불확실성 개념을 도입함으로써 기존의 근사 쿼리 기법과 차별화한다. 기존 샘플링 기반 방법은 정확도(오차 범위)를 명시적으로 제시하지만, 결과가 얼마나 불완전한지(누락된 레코드 수)를 알기 어렵다. 반면 PC는 “전체 만족 레코드를 포함할 확률”을 직접 설정하도록 하여, 사용자는 “95 %의 확률로 완전한 결과를 얻는다”는 직관적인 보장을 받을 수 있다. 이 확률은 통계적 독립 가정 하에 각 파티션이 포함될 확률을 곱해 계산되며, 데이터가 여러 파티션에 분산 저장될 때 각 파티션의 선택 확률을 조정함으로써 전체 PC를 조절한다.

데이터 배치 단계에서는 레코드가 여러 파티션에 복제되지 않고, 각 레코드가 특정 파티션에 할당될 확률 분포를 사전 정의한다. 이때 파티션 별 “포함 확률”을 사전에 계산해 두고, 레코드 삽입 시 난수 생성기로 해당 파티션을 선택한다. 이렇게 하면 파티션 별 데이터 양이 균등하게 유지되면서도, 특정 파티션을 스캔하지 않을 경우 전체 PC가 얼마나 감소하는지를 정확히 예측할 수 있다.

쿼리 처리 단계에서는 사용자가 요구한 PC 값에 따라 최소한의 파티션 집합을 선택한다. Probery는 메타데이터에 저장된 파티션별 포함 확률을 이용해, 목표 PC를 만족하는 가장 작은 파티션 조합을 탐색한다. 이 과정은 NP‑hard 문제와 유사하지만, 논문에서는 그리디 알고리즘과 히스토그램 기반 근사 방식을 결합해 실시간에 가까운 선택을 가능하게 한다. 선택된 파티션만을 Drill 엔진에 전달해 스캔하도록 함으로써 I/O 비용과 네트워크 전송량을 크게 절감한다.

성능 평가에서는 TPC‑DS와 자체 생성 워크로드를 사용해 PC 0.9, 0.95, 0.99 등 다양한 설정에서 실험을 진행했다. 결과는 “완전 쿼리 대비 2배 가량 빠른 응답 시간”을 보였으며, 실제 완전성 비율은 설정값을 초과하는 경우가 대부분이었다. 이는 확률 모델이 보수적으로 설계돼 실제 누락 가능성이 낮게 추정되기 때문이다. 또한, Drill, Impala, Hive와 비교했을 때 평균 1.3~1.8배의 속도 향상을 기록했으며, 특히 대규모 조인 및 집계 쿼리에서 그 차이가 두드러졌다.

한계점으로는 파티션 수가 매우 많아질 경우 그리디 선택 알고리즘이 최적 해와 차이가 날 수 있다는 점과, 데이터 삽입 시 확률 기반 파티션 할당이 추가 오버헤드를 발생시킨다는 점을 들 수 있다. 또한, PC가 1.0에 가까워질수록 선택 파티션 수가 급격히 늘어나 기존 시스템과 동일한 비용이 발생한다. 향후 연구에서는 동적 파티션 재배치와 머신러닝 기반 확률 추정 모델을 도입해 이러한 문제를 완화하고, 스트리밍 데이터 환경에서도 PC 보장을 확장하는 방안을 모색한다.