초고속 최소희소항목 집합 탐색 알고리즘

초록

본 논문은 대규모 데이터셋에서 최소희소(불빈도) 항목 집합을 효율적으로 찾는 새로운 알고리즘 K yiv 를 제안한다. 기존 MINIT·SUDA2 대비 10배 이상 빠른 실행 시간을 보이며, 메모리 사용량을 늘리는 대신 병렬 로드 밸런싱을 통해 수백만 레코드까지 확장성을 확보한다.

상세 분석

이 논문은 최소희소 항목 집합(minimal infrequent itemset) 탐색 문제를 정의하고, 이를 해결하기 위한 두 단계의 혁신을 제시한다. 첫 번째는 전처리 단계에서 균일 항목(U A)을 제거하고, 빈도 임계값 τ 이하인 단일 항목을 즉시 식별함으로써 탐색 공간을 크게 축소한다. 이후 남은 항목들을 두 집합 L A,τ와 ¯L A,τ 로 분할하는데, 전자는 행 집합이 서로 다른 항목들, 후자는 동일한 행 집합을 공유하는 복제 항목들이다. 이 분할은 정리 4.1에 의해 최소희소성 유지에 영향을 주지 않으며, 복제 항목을 대체해도 최소성은 보존된다. 핵심 알고리즘은 breadth‑first 탐색을 기반으로 하며, 각 레벨에서 후보 집합의 지원 집합(R I)을 빠르게 계산한다. 지원 집합 테스트는 해시 기반 구조와 비트맵 교집합 연산을 활용해 “사실상 비용 제로” 수준으로 구현된다. 병렬 구현에서는 후보 집합을 레벨별로 균등하게 분배하고, 작업량을 동적으로 조정해 스레드 간 불균형을 최소화한다. 실험에서는 합성 데이터와 실제 AOL 검색 로그, 의료 데이터 등을 사용해 MINIT·SUDA2·MIWI Miner와 비교했으며, 평균 8배30배의 속도 향상을 기록했다. 다만 메모리 사용량이 25배 증가하는 트레이드오프가 존재한다는 점을 명시한다. 논문은 또한 Lemma 4.6·Corollary 4.7을 통해 지원 집합의 최소성 검증을 수학적으로 보증한다. 전체적으로 알고리즘 설계, 이론적 증명, 구현 최적화, 그리고 광범위한 실험 평가가 일관되게 연결돼 있어, 대규모 데이터 프라이버시 보호와 희소 패턴 탐색 분야에 실질적인 기여를 한다.