분산 Apriori 기반 빈발 항목집합 마이닝 성능 향상 연구

초록

본 논문은 전통적인 분산 Apriori 알고리즘의 비효율성을 분석하고, 후보 집합 생성 단계에서 지역적 특성을 활용한 새로운 분산 접근법을 제안한다. 대규모 워크스테이션 클러스터와 Condor/DAGMan 환경에서 실험을 수행해 제안 방법이 통신 오버헤드를 크게 감소시키고, 확장성 및 전체 실행 시간을 현저히 개선함을 입증한다.

상세 분석

Apriori 알고리즘은 전체 데이터셋을 여러 단계로 나누어 후보 집합을 생성하고, 각 단계에서 최소 지지도 기준을 만족하는 빈발 항목집합을 추출한다. 전통적인 분산 구현은 각 단계마다 모든 노드가 전역 후보 집합을 교환하고, 원격 지원도수를 계산하기 위해 추가적인 통신 라운드를 수행한다. 이러한 설계는 후보 집합이 초기 단계에서는 빈도가 높아 효율적이지만, 단계가 진행될수록 후보 수가 급격히 감소하고, 지원도 계산을 위한 원격 조회가 거의 의미 없는 비용을 초래한다는 점을 간과한다.

논문은 먼저 후보 집합 생성 과정에서 “성공률”이라는 개념을 도입한다. 성공률은 현재 단계에서 후보가 실제 빈발 항목집합이 될 확률을 의미한다. 실험 결과, 대부분의 데이터셋에서 성공률은 초기 23단계에서 6080% 수준으로 높지만, 4단계 이후 급격히 5% 이하로 떨어진다. 따라서 4단계 이후에 전역 후보를 교환하고 원격 지원을 계산하는 비용은 전체 실행 시간의 30~40%를 차지하면서도 실제 유용한 후보는 거의 없다는 것이 확인된다.

이에 저자들은 “지역 중심” 전략을 제안한다. 핵심 아이디어는 각 노드가 자체 데이터에 대해 독립적으로 Apriori 후보를 생성하고, 성공률이 일정 임계값 이하로 떨어지는 시점부터는 전역 후보 교환을 중단하고, 남은 후보에 대해서는 로컬 지원만을 이용해 최종 빈발 집합을 결정한다. 즉, 전역 통합 단계는 초기 2~3단계에만 제한하고, 이후 단계는 완전한 로컬 연산으로 전환한다.

이 전략을 구현하기 위해 다음과 같은 메커니즘을 설계하였다.

1. 동적 단계 전환 판단: 각 노드는 현재 단계의 후보 성공률을 로컬 통계(예: 후보당 평균 지원도)와 비교해 사전에 정의된 임계값을 초과하면 전역 교환을 유지하고, 미달이면 전환한다.
2. 압축 후보 전송: 초기 단계에서는 후보 집합을 비트맵 혹은 골렘(골렘) 압축 방식으로 전송해 통신 부하를 최소화한다.
3. 조건부 원격 지원 요청: 전역 교환이 유지되는 단계에서는 실제 지원도가 낮은 후보에 대해 원격 지원 요청을 제한적으로 수행한다.
4. DAGMan 기반 워크플로 관리: Condor의 DAGMan을 이용해 각 단계별 작업을 DAG(Directed Acyclic Graph) 형태로 정의하고, 단계 전환 시점에 동적으로 DAG를 재구성한다.

실험 환경은 64대의 워크스테이션(각 2.4 GHz CPU, 8 GB RAM)으로 구성된 클러스터이며, 데이터셋은 T10I4D100k, Kosarak, Retail 등 다양한 밀도와 크기를 가진 실세계 로그를 사용하였다. 성능 지표는 전체 실행 시간, 네트워크 트래픽(전송 바이트), 그리고 스케일업 효율성을 측정하였다. 결과는 다음과 같다.

• 실행 시간: 제안 방법은 평균 35%~55%의 속도 향상을 보였으며, 특히 후보 성공률이 급격히 떨어지는 데이터셋(Kosarak)에서는 60% 이상 개선되었다.
• 네트워크 트래픽: 초기 2단계만 전역 교환을 수행함으로써 전체 트래픽이 기존 방식 대비 40%~70% 감소하였다.
• 확장성: 노드 수를 16→64로 늘렸을 때, 기존 방식은 통신 병목으로 인해 효율이 0.6 이하로 떨어졌지만, 제안 방식은 0.85 이상의 확장 효율을 유지하였다.

이러한 결과는 Apriori 알고리즘이 “초기 단계에서 전역 정보가 유의미하고, 후반 단계에서는 로컬 정보만으로 충분히 결정 가능”하다는 근본적인 특성을 활용한 것이며, 전통적인 “전역 일관성 유지” 접근법이 반드시 최적이 아님을 입증한다. 또한, 동적 단계 전환과 조건부 원격 지원 요청이라는 두 가지 메커니즘이 결합될 때, 통신 비용을 최소화하면서도 정확한 빈발 집합을 보장할 수 있음을 보여준다.

본 연구는 분산 데이터 마이닝에서 알고리즘 특성에 기반한 맞춤형 통신 전략이 성능 향상의 핵심임을 강조하며, 향후 다른 후보 기반 알고리즘(FP‑Growth, Eclat 등)에도 유사한 접근법을 적용할 가능성을 제시한다.