관계형 뷰를 활용한 의사결정 트리 모델링

초록

데이터 마이닝은 창고나 기업 데이터베이스에서 생산 규칙을 발굴하는 유용한 의사결정 지원 기법이다. 기존 연구는 대용량 데이터베이스에서 다양한 마이닝 알고리즘을 효율적으로 적용하기 위해 많은 노력을 기울여 왔다. 그러나 실제 적용 시 가장 큰 장애물은 알고리즘의 긴 처리 시간이다. 오늘날 주요 과제 중 하나는 전통적인 데이터베이스 시스템의 틀 안에 데이터 마이닝 방법을 통합하는 것이다. 데이터베이스 시스템은 SQL 엔진이 제공하는 높은 효율성을 활용할 수 있기 때문이다. 본 논문에서는 클래식 데이터베이스 시스템 내에서 의사결정 트리를 통합하는 접근법을 제안한다. 즉, 관계형 데이터베이스에서 생산 규칙 형태의 지식을 SQL 쿼리를 삽입한 절차를 통해 발견한다. 얻어진 의사결정 트리는 연속적인 관계형 뷰들로 정의되며, 각 뷰는 트리의 특정 노드(집단)를 나타낸다. 우리는 전통적인 ID3(Induction Decision Tree) 알고리즘을 선택해 트리를 구축하였다. 구현된 ID3가 정상적으로 동작함을 검증하기 위해, 기존에 검증된 데이터 마이닝 소프트웨어인 SIPINA와 출력 결과를 비교하였다. 또한, 본 접근법은 파라미터 조정이 가능하므로 유사한 다른 의사결정 트리 기반 방법에도 일반화할 수 있다.

상세 요약

본 연구는 데이터 마이닝 알고리즘을 전통적인 관계형 데이터베이스 관리 시스템(RDBMS) 내에서 직접 실행함으로써, 별도의 외부 마이닝 툴을 호출하는 오버헤드를 크게 감소시키려는 시도이다. 핵심 아이디어는 의사결정 트리의 각 노드가 의미하는 데이터 집합을 “관계형 뷰”라는 형태로 구현하고, 이 뷰들을 순차적으로 생성·연결함으로써 트리 구조를 재현하는 것이다. 이러한 설계는 두 가지 중요한 장점을 제공한다. 첫째, 뷰는 RDBMS가 이미 최적화된 쿼리 플래너와 인덱스 구조를 활용하도록 하여, 대규모 데이터에 대한 분할·필터링 작업을 효율적으로 수행한다. 둘째, 뷰 기반 구현은 트리 생성 과정 자체를 SQL 스크립트만으로 기술할 수 있게 하여, 데이터베이스 관리자(DBA)와 비즈니스 분석가가 동일한 환경에서 작업할 수 있는 통합 워크플로우를 만든다.

알고리즘 측면에서 저자들은 ID3를 선택했는데, 이는 엔트로피 기반의 정보 이득을 이용해 최적의 분할 속성을 선택하는 전통적인 방식이다. ID3는 재귀적으로 서브셋을 나누면서 트리를 성장시키므로, 각 재귀 단계에서 현재 데이터 집합을 나타내는 뷰를 생성하고, 해당 뷰에 대해 정보 이득을 계산하는 SQL 쿼리를 실행한다. 이때, 엔트로피와 정보 이득을 계산하기 위해서는 그룹별 집계와 로그 연산이 필요하며, 대부분의 상용 DBMS가 제공하는 집계 함수와 사용자 정의 함수(UDF)를 활용한다.

성능 검증을 위해 저자들은 SIPINA라는 검증된 마이닝 툴과 결과를 비교하였다. SIPINA는 독립 실행형 애플리케이션으로, 동일한 입력 데이터에 대해 동일한 트리를 생성한다면 구현이 올바른 것으로 판단한다. 실험 결과는 트리 구조와 리프 노드의 클래스 라벨이 일치함을 보여, SQL 기반 구현이 알고리즘적 정확성을 유지함을 증명한다.

하지만 몇 가지 한계점도 존재한다. 첫째, ID3는 연속형 속성에 대해 이산화 전처리가 필요하며, 이 과정이 뷰 정의 단계에서 추가적인 복잡성을 야기한다. 둘째, 깊은 트리를 생성할 경우 뷰의 계층이 깊어져 관리가 어려워질 수 있으며, DBMS에 따라 뷰 중첩 제한이 존재한다. 셋째, 현재 구현은 순수 SQL만을 사용했으나, 복잡한 로그 연산이나 대규모 집계는 성능 저하를 일으킬 수 있어, 프로시저나 외부 스크립트와의 혼합 사용이 필요할 가능성이 있다.

향후 연구 방향으로는 C4.5, CART와 같은 보다 정교한 분할 기준을 지원하도록 확장하고, 뷰 대신 물리적 임시 테이블을 활용해 메모리 사용량을 최적화하는 방안을 모색할 수 있다. 또한, 병렬 쿼리 실행과 파티셔닝을 이용해 대규모 데이터셋에 대한 스케일아웃을 구현한다면, 전통적인 데이터베이스 환경에서도 실시간에 가까운 마이닝이 가능해질 것이다.