규칙 앙상블 기반 차원 축소와 성능 비교

초록

본 논문은 규칙 기반 앙상블 모델을 이용해 데이터 차원을 효과적으로 축소하고, 이를 기존의 부스팅·배깅과 비교한다. 규칙을 가중치화한 선형 모델을 구축해 중요한 변수와 제약조건을 순위화하고, 초고속 경사 하강법(Pathbuild)으로 계수를 추정한다. 실험 결과, 39개의 특성을 가진 초신성 이미지 데이터에서 21개로 차원을 절반 이상 줄이면서도 높은 분류 정확도를 유지한다.

상세 분석

이 연구는 기존 앙상블 기법이 예측 정확도는 높지만 모델 해석성이 떨어진다는 문제점을 규칙 앙상블(rule ensemble) 방식으로 보완한다는 점에서 의미가 크다. 규칙은 결정 트리의 내부·단말 노드를 이용해 “속성 ∈ 구간” 형태의 지시자 함수로 정의되며, 각 규칙은 하나의 베이스 학습자 f_k 로 취급된다. 논문은 이러한 규칙들을 선형 결합 형태 ˆF(x)=a_0+∑_k a_k r_k(x) 로 모델링하고, L1(라소) 페널티를 추가한 목적함수(식 6)를 최소화함으로써 자동 변수 선택과 희소성을 동시에 달성한다.

계수 추정 단계에서는 기존의 LARS·Coordinate Descent 등 전통적 최적화 기법뿐 아니라, Friedman·Popescu가 제안한 Pathbuild 알고리즘을 적용한다. Pathbuild는 매 반복마다 가장 큰 절대 그라디언트를 가진 규칙 하나만을 업데이트함으로써 계산량을 크게 줄이고, 특히 ramp loss에 대한 효율적인 구현을 제공한다. 이때 τ 파라미터를 통해 업데이트 대상 규칙의 선택 기준을 조정할 수 있어, 과도한 업데이트를 방지하고 모델의 일반화 능력을 유지한다.

규칙 생성 과정에서는 두 가지 전략을 사용한다. 첫 번째는 전통적인 배깅 방식으로 무작위 샘플을 추출해 다수의 작은 트리를 성장시켜 규칙을 얻는 것이며, 두 번째는 Gradient Boosting을 활용해 이전 모델이 남긴 pseudo‑residual에 대해 새로운 트리를 학습함으로써 서로 보완적인 규칙을 생성한다. 트리의 크기 t_m 은 평균 L¯ 를 파라미터로 하는 지수분포에서 샘플링해 다양성을 조절하고, 각 노드 분할 시 무작위 속성 서브셋을 사용해 과적합을 억제한다.

실험에서는 UCI 공개 데이터셋을 포함한 다중 클래스 문제에 대해 1‑vs‑All 전략을 적용하고, 규칙 앙상블을 부스팅·배깅과 비교하였다. 성능 지표는 정확도·F1‑score·훈련·예측 시간 등으로 평가했으며, 대부분의 경우 규칙 앙상블이 비슷하거나 약간 우수한 정확도를 보였지만, 특히 차원 축소 효과가 두드러졌다. 초신성 이미지 데이터에서는 39개의 원본 피처 중 21개만을 남겨도 기존 모델 대비 2 % 내외의 정확도 손실만 발생했으며, 해석 측면에서 어떤 색상·형상 조합이 초신성 후보를 구분하는 데 핵심적인지 명확히 드러냈다.

이 논문은 규칙 기반 앙상블이 “예측 정확도 + 해석 가능성”을 동시에 제공할 수 있음을 실증적으로 보여준다. 또한 Pathbuild와 같은 고속 최적화 기법을 도입해 대규모 데이터에서도 실용성을 확보했으며, 규칙의 가중치 순위를 통해 변수 중요도를 직관적으로 파악할 수 있다는 점이 데이터 과학자와 도메인 전문가에게 큰 장점으로 작용한다. 향후 연구에서는 규칙의 비선형 결합, 다중 라벨 확장, 그리고 규칙 집합의 자동 클러스터링 등을 통해 모델의 표현력을 더욱 강화할 여지가 있다.