희소 아이템셋을 활용한 비존재 패턴 탐색

초록

본 논문은 대규모 데이터베이스에서 드물게 발생하거나 전혀 나타나지 않는 아이템 조합, 즉 희소 및 비존재 패턴을 효율적으로 발굴하는 새로운 방법론을 제시한다. 기존 희소 아이템셋 마이닝 기법을 확장하여 비존재 패턴을 탐지하는 알고리즘을 설계하고, 복합 지원도 기준과 후보 전이 전략을 도입해 탐색 공간을 크게 축소한다. 실험 결과, 제안 기법이 기존 방법에 비해 탐색 시간과 메모리 사용량에서 현저히 우수함을 입증한다.

상세 분석

이 논문은 데이터 마이닝 분야에서 상대적으로 연구가 소홀했던 ‘비존재 패턴(Non‑present Pattern)’ 탐지 문제에 주목한다. 비존재 패턴은 특정 아이템 조합이 데이터베이스에 전혀 나타나지 않을 때 정의되며, 보안(예: 침입 탐지), 의료(예: 드물게 동시 발생하지 않는 증상) 등 다양한 도메인에서 중요한 인사이트를 제공한다. 기존 연구는 주로 빈번 아이템셋(Frequent Itemset)이나 희소 아이템셋(Rare Itemset)만을 대상으로 했으며, 비존재 패턴을 직접적으로 탐색하는 효율적인 프레임워크는 부재했다.

논문은 먼저 희소 아이템셋 마이닝의 기본 개념을 재정리하고, 이를 비존재 패턴 탐지에 적용하기 위한 두 가지 핵심 아이디어를 제시한다. 첫째, ‘역지원도(Reverse Support)’ 개념을 도입해 아이템 조합이 나타나지 않은 경우를 정량화한다. 전통적인 지원도는 등장 횟수를 카운트하지만, 역지원도는 전체 트랜잭션 수에서 해당 조합이 등장한 횟수를 뺀 값을 사용한다. 이를 통해 ‘희소’와 ‘비존재’를 동일한 수치적 기준으로 비교할 수 있다. 둘째, 후보 전이(Transition) 전략을 설계해 탐색 공간을 단계적으로 축소한다. 초기 단계에서는 1‑item 후보 집합을 생성하고, 역지원도가 사전 정의된 임계값 이하인 경우에만 상위 차원 후보(2‑item, 3‑item…)로 확장한다. 이렇게 하면 비존재 패턴이 될 가능성이 높은 조합만을 집중적으로 탐색하게 된다.

알고리즘 구현 측면에서는 두 가지 최적화 기법이 눈에 띈다. 첫째, 트랜잭션을 비트맵 형태로 압축 저장해 역지원도 계산을 O(1) 시간에 수행한다. 둘째, ‘역지원도 기반 프루닝(Reverse‑Support Pruning)’을 적용해 현재 후보 집합의 모든 상위 조합이 이미 비존재임이 증명된 경우, 해당 후보를 즉시 삭제한다. 이 과정은 전통적인 Apriori‑like 프루닝과는 반대 방향으로 작동한다는 점에서 혁신적이다.

실험에서는 공개된 대규모 거래 데이터셋(KDD‑Cup, Retail)과 인공적으로 생성한 희소 데이터셋을 사용해 성능을 평가한다. 평가 지표는 탐색 시간, 메모리 사용량, 그리고 발견된 비존재 패턴의 정확도(정밀도·재현율)이다. 결과는 제안 알고리즘이 기존 희소 아이템셋 마이닝 기반 방법에 비해 평균 45 % 이상의 시간 절감과 30 % 이상의 메모리 절감을 달성했으며, 비존재 패턴 검출 정확도에서도 5 %~10 % 향상을 보였음을 보여준다.

이와 같이 논문은 희소 아이템셋 마이닝을 비존재 패턴 탐지에 자연스럽게 연결시키는 이론적 토대와 실용적인 구현 방안을 동시에 제공한다. 특히 역지원도와 후보 전이 프루닝이라는 두 축을 통해 탐색 공간을 효과적으로 억제함으로써, 대규모 실무 환경에서도 적용 가능한 스케일러블한 솔루션을 제시한다는 점이 큰 의의이다.