속성지향 귀납을 위한 단일 SELECT 문 활용법

초록

본 논문은 관계형 데이터베이스에서 특성(Characteristic) 규칙과 분류(Discriminant) 규칙을 동시에 도출하기 위해, 개념 계층을 테이블 형태로 변환하고 단일 SELECT 문만으로 귀납적 학습을 수행하는 방법을 제시한다. t‑weight와 d‑weight라는 두 가지 가중치를 도입해 규칙의 전형성 및 구별성을 정량화하고, 기존 복잡한 절차를 간소화함으로써 데이터 마이닝 작업의 효율성을 크게 향상시킨다.

상세 요약

이 논문은 속성지향 귀납(Attribute Oriented Induction, AOI) 기법을 관계형 데이터베이스 환경에 직접 적용하는 새로운 접근법을 제시한다. 전통적인 AOI는 다단계 일반화와 개념 계층을 이용해 데이터 집합을 단계적으로 추상화하고, 최종적으로 특성 규칙과 분류 규칙을 도출한다. 그러나 기존 방법은 복잡한 프로시저, 다중 쿼리, 그리고 외부 데이터 마이닝 툴에 의존하는 경우가 많아 실무 적용에 장벽이 있었다.

본 연구는 이러한 문제점을 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 개념 계층을 ‘개념 트리’를 기반으로 각각 별도의 테이블에 매핑한다. 예를 들어, ‘지역 → 국가 → 대륙’과 같은 계층 구조를 각각의 컬럼으로 전개하거나, 계층 레벨을 나타내는 별도 테이블을 만들어 원본 데이터와 조인한다. 이렇게 하면 SQL의 GROUP BY와 HAVING 절을 이용해 자연스럽게 일반화 단계가 구현된다.

둘째, 단일 SELECT 문 안에서 특성 규칙과 분류 규칙을 동시에 생성한다. SELECT 절에서는 원본 속성값과 개념 계층 레벨을 함께 선택하고, GROUP BY 절에서 원하는 일반화 수준을 지정한다. HAVING 절에서는 최소 지원도(minimum support)와 같은 필터링 조건을 적용한다. 결과 집합은 각 그룹에 대한 빈도(count)와 함께 t‑weight(typicality weight)와 d‑weight(discriminative weight)를 계산할 수 있는 중간값을 제공한다. t‑weight는 해당 그룹이 전체 데이터에서 얼마나 전형적인지를 나타내며, d‑weight는 두 클래스(예: 긍정/부정) 사이에서 해당 그룹이 얼마나 구별되는지를 측정한다.

이러한 가중치는 단순히 빈도만을 이용하는 전통적 AOI와 달리, 규칙의 품질을 정량적으로 평가할 수 있게 해준다. 특히, d‑weight는 분류 모델의 특성 선택(feature selection) 단계에서 중요한 역할을 하며, 높은 d‑weight를 가진 그룹은 모델의 예측 정확도를 크게 향상시킬 가능성이 있다.

또한, 논문은 SQL 기반 구현이 다른 애플리케이션(예: Java, Python)과 쉽게 연동될 수 있음을 강조한다. JDBC 혹은 ODBC를 통해 SELECT 문을 실행하고, 반환된 결과를 바로 메모리 내 데이터 구조로 변환하면, 추가적인 전처리 없이도 t‑weight와 d‑weight를 계산할 수 있다. 이는 기존에 별도 마이닝 엔진을 호출하던 흐름을 크게 단순화한다.

성능 측면에서는, 단일 SELECT 문이 데이터베이스 엔진의 최적화 기능(인덱스 활용, 파티셔닝, 병렬 처리)을 그대로 이용하므로, 대규모 데이터셋에서도 효율적인 실행이 가능하다. 실험 결과는 동일한 데이터에 대해 기존 AOI 프로세스가 수십 초에서 수분이 걸리는 반면, 제안된 SQL 기반 방법은 몇 초 이내에 결과를 도출함을 보여준다.

마지막으로, 개념 계층을 테이블로 변환하는 과정에서 ‘표준 지식(standard knowledge)’이 필요하다는 점을 강조한다. 이는 도메인 전문가가 개념 트리를 정확히 정의하고, 각 레벨을 정규화된 형태로 매핑해야 함을 의미한다. 이 전제가 충족될 경우, 단일 SELECT 문만으로 복잡한 귀납적 학습을 수행할 수 있다는 점이 본 논문의 가장 큰 혁신이다.