베이지안 네트워크 기반 흥미 아이템셋 탐색

본 논문은 아이템셋 마이닝 분야에서 흥미로운 패턴을 찾기 위한 새로운 접근법을 제시한다. 기존 연구들은 주로 최소 설명 길이(MDL) 원리를 이용해 데이터베이스를 압축하는 아이템셋 집합을 탐색했으며, 이는 빈번한 아이템셋의 과잉 생성 문제를 완화하는 데 기여했지만, 압축 스키마를 설계하고 최적화하는 과정이 복잡하고 제한적이었다. 저자들은 이러한 한계를 극복하고자, 아이템셋 자체를 잠재 변수로 하는 베이지안 네트워크 모델을 설계한다. 모델의 핵심은 흥미 아이템셋 집합 I와 각 아이템셋 S에 대한 발생 확률 π_S이다. 각 트랜잭션 X는 I에 속한 아이템셋을 독립적으로 샘플링해 만든 합집합으로 생성되며, 이는 “아이템셋이 트랜잭션을 설명한다”는 직관적인 해석을 제공한다. 모델이 정의되면 두 가지 추정 과제가 남는다. 첫째는 주어진 π 하에 각 트랜잭션에 대해 어떤 아이템셋이 선택되었는지(z 벡터)를 찾는 것이고, 둘째는 전체 데이터에 대해 π와 I를 동시에 학습하는 것이다. 첫 번째 문제는 로그우도 최대화를 위한 제약식으로 변환되며, 이는 가중 집합 커버(weighted set cover) 문제와 동일시된다. 저자들은 이 NP‑hard 문제를 서브모듈러 함수 f(C)=|⋃_{S∈C} S| 로 정의하고, 탐욕적 알고리즘을 적용해 ln|X|+1 근사 비율을 보장한다. 탐욕적 선택은 현재 커버되지 않은 아이템 수 대비 가중치 w_S=−ln π_S 비율이 가장 작은 아이템셋을 반복적으로 추가하는 방식이다. 이 과정은 O(|X| log |T|) 시간 복잡도로 구현 가능하며, 우선순위 큐를 활용해 효율성을 높였다. 두 번째 과제인 파라미터와 아이템셋 구조 학습은 구조적 EM(Structural EM) 프레임워크를 이용한다. 초기에는 단일 아이템이나 사전 정의된 후보 집합을 사용해 π를 초기화하고, Hard‑EM을 통해 z 와 π를 교대로 업데이트한다. 구조적 EM 단계에서는 새로운 후보 아이템셋 S₀를 생성하고, 이를 I에 추가했을 때 전체 로그우도가 향상되는지를 검증한다. 후보 생성은 Apriori 방식보다 효율적인 휴리스틱을 사용해, 현재 흥미 아이템셋 중 지원도가 높은 쌍을 결합해 새로운 후보를 만든다. 후보 추가 시 π_{S₀}=1 로 초기화해 강한 설명력을 부여하고, 이후 M‑step에서 실제 사용 빈도에 맞춰 조정한다. 이렇게 하면 불필요한 후보가 로그우도에 큰 벌점을 부여받아 자연스럽게 제거된다. 실험에서는 5개의 실제 데이터셋(소매 거래, 논문 텍스트, 지리 데이터 등)을 대상으로 IIM(Interesting Itemset Miner)을 기존 MTV, KRIMP, SLIM과 비교했다. 평가 지표는 압축 비율, 패턴 다양성, 인간 전문가의 해석 용이성 등을 포함한다. 결과는 IIM이 비슷하거나 더 높은 압축 효율을 달성하면서도, 아이템셋 간 중복을 허용해 더 풍부하고 의미 있는 패턴을 제공함을 보여준다. 예를 들어, 논문 데이터에서는 “anomaly detection”과 같은 구문이 아이템셋으로 추출되었고, 지리 데이터에서는 서부 미국 주들이 하나의 아이템셋으로 나타났다. 이러한 결과는 모델이 실제 도메인 구조를 잘 포착한다는 증거다. 논문의 주요 기여는 다음과 같다. (1) 아이템셋 자체를 잠재 변수로 하는 베이지안 네트워크 생성 모델을 최초로 제시했다. (2) 가중 집합 커버 문제를 서브모듈러 최적화와 탐욕적 근사로 효율적으로 해결했다. (3) 구조적 EM을 활용해 아이템셋 구조와 파라미터를 동시에 학습하는 프레임워크를 구축했다. (4) 실험을 통해 기존 MDL 기반 방법과 경쟁하거나 우수한 성능을 입증했다. 이 연구는 확률적 모델링과 최적화 기법을 결합해 아이템셋 마이닝에 새로운 이론적·실용적 기반을 제공한다.