인공신경망 규칙 추출 혁신

초록

본 논문은 백프로파게이션 신경망을 대상으로 두 단계 학습‑정제 과정을 통해 은닉 노드와 입력 특성을 자동으로 선정하고, 불필요한 연결을 최소화한 후 간결한 네트워크에서 규칙을 추출하는 알고리즘을 제안한다. 구축‑프루닝 방식을 결합해 해석 가능성을 높이며, 여러 벤치마크 실험에서 높은 일반화 성능을 입증한다.

상세 요약

이 연구는 인공신경망(ANN)의 ‘블랙박스’ 문제를 해결하기 위해 규칙 추출 메커니즘을 설계하였다. 핵심은 두 단계 학습 프로세스에 있다. 첫 번째 단계에서는 constructive learning 방식을 적용해 은닉층의 노드 수를 동적으로 결정한다. 초기에는 최소한의 은닉 노드로 시작하고, 학습 오류가 사전 정의된 임계값을 초과하면 새로운 노드를 하나씩 추가한다. 이 과정은 학습 데이터에 대한 성능 향상을 실시간으로 모니터링하면서 진행되므로, 과소‑또는 과대‑모델링을 방지하고 최적의 네트워크 용량을 자동으로 탐색한다.

두 번째 단계는 가중치 기반 프루닝(pruning)이다. 학습이 완료된 네트워크에서 각 연결 가중치의 절대값을 평가하고, 사전 설정된 작은 임계값 이하인 연결을 제거한다. 동시에 입력 유닛별 중요도를 계산해, 기여도가 낮은 특성은 완전히 차단한다. 이렇게 하면 네트워크 구조가 크게 단순화되어, 남은 노드와 연결만으로도 원래의 예측 정확도를 거의 유지한다.

단순화된 네트워크를 기반으로 규칙 추출 알고리즘을 적용한다. 각 은닉 노드의 활성화 패턴을 이진화하고, 활성화된 노드들의 조합을 전제조건으로, 출력 노드가 나타내는 클래스와 매핑한다. 결과적으로 ‘IF‑조건 THEN‑클래스’ 형태의 인간이 이해 가능한 규칙 집합이 도출된다. 이 규칙은 기존 의사결정 트리와 유사한 형태이지만, 신경망이 학습한 비선형 관계를 그대로 반영한다는 점에서 차별성을 가진다.

실험에서는 UCI 머신러닝 레포지토리의 여러 표준 데이터셋(예: Iris, Wine, Breast Cancer 등)을 사용해 기존 백프로파게이션 모델, C4.5 결정트리, 그리고 최근의 규칙 기반 추출 기법과 비교하였다. 제안 방법은 평균 25% 정도의 정확도 향상을 보였으며, 특히 입력 특성 수가 많고 잡음이 섞인 데이터에서 프루닝을 통한 차원 축소 효과가 두드러졌다. 또한 추출된 규칙 수가 적어(보통 1020개) 해석 부담이 크게 감소했다.

이 논문의 강점은 (1) 은닉 노드와 입력 특성을 자동으로 최적화하는 두 단계 학습 프레임워크, (2) 가중치 기반 프루닝을 통한 네트워크 경량화, (3) 단순화된 구조에서 효율적으로 규칙을 도출하는 알고리즘이다. 한편 제한점으로는 프루닝 임계값 선택이 데이터마다 민감하게 작용할 수 있어, 최적값 탐색을 위한 추가적인 검증 과정이 필요하다는 점이다. 또한 규칙 추출 과정에서 이진화 기준이 고정되어 있어, 연속적인 특성에 대한 미세한 차이를 놓칠 가능성이 있다. 향후 연구에서는 적응형 임계값 설정 및 다중 클래스 상황에서의 규칙 복합성 관리 방안을 모색할 여지가 있다.