샘플링 기반 연관 규칙·빈발 항목집합 탐색의 새로운 이론적 한계

초록

본 논문은 데이터 마이닝에서 빈발 항목집합(FI)과 연관 규칙(AR)을 추출할 때, 전체 데이터를 여러 번 스캔해야 하는 기존 정확 알고리즘의 비효율성을 극복하고자 샘플링 기법에 VC‑dimension 이론을 적용한다. 데이터셋에 정의된 ‘d‑index’를 이용해 VC‑dimension의 상한을 엄격히 계산하고, 이를 기반으로 절대·상대 오차 ε와 실패 확률 δ에 대한 최소 샘플 크기를 선형적으로 제시한다. 실험 결과는 제안 방법이 기존 샘플링 기법보다 훨씬 작은 샘플로도 높은 정확도를 유지함을 보여준다.

상세 분석

논문은 빈발 항목집합(FI)과 연관 규칙(AR) 추출 문제를 ‘샘플링 + VC‑dimension’이라는 새로운 프레임워크로 재정의한다. 핵심 아이디어는 각 아이템셋이 트랜잭션에 나타나는지를 0‑1 지시함수로 보고, 이러한 지시함수들의 집합을 하나의 range space로 보는 것이다. VC‑dimension은 이 range space의 복잡도를 측정하는 지표로, 샘플링 이론에 따르면 VC‑dimension d가 주어지면 ε‑근사와 δ‑신뢰도를 만족하는 샘플 크기는 O((d+log(1/δ))/ε²) 로 제한될 수 있다. 기존 연구들은 아이템 수 |I| 혹은 전체 트랜잭션 수에 비례하는 보수적인 샘플 크기를 제시했지만, 이 논문은 데이터셋 자체의 구조적 특성을 반영한 ‘d‑index’를 도입한다. d‑index는 “길이가 최소 d이고 서로 포함 관계가 없는 트랜잭션이 d개 존재하는 최대 정수 d” 로 정의되며, 이는 데이터의 최대 깊이와 유사한 의미를 가진다. 저자들은 d‑index가 VC‑dimension의 상한임을 증명하고, 특정 클래스의 데이터셋에서는 이 경계가 정확히 일치함을 보인다. d‑index는 한 번의 선형 스캔으로 근사값을 얻을 수 있어 실용성이 높다. 이 이론적 기반 위에, 절대 오차(absolute)와 상대 오차(relative) 두 가지 근사 모델에 대해 각각 FI, top‑K FI, AR 문제에 대한 샘플 크기 공식을 도출한다. 표 1에 정리된 결과는 기존 방법보다 d에만 의존하고 |I|나 전체 데이터 크기에 대한 의존도가 크게 감소했음을 보여준다. 실험에서는 다양한 실세계 데이터셋에 대해 제안된 샘플링 알고리즘을 적용했으며, 정확도(precision/recall)와 실행 시간 모두 기존 샘플링 기반 기법을 크게 앞섰다. 특히, MapReduce 환경에서의 병렬 구현 결과는 제안 방법이 대규모 분산 처리에도 적합함을 입증한다. 전체적으로 이 논문은 VC‑dimension을 데이터 마이닝 문제에 적용한 최초 사례이며, 데이터셋의 내재적 복잡도를 활용해 샘플링 효율을 극대화하는 새로운 패러다임을 제시한다.