인공신경망 규칙추출 REANN 방법

초록

본 논문은 백프로파게이션 기반의 3층 피드포워드 인공신경망에서 학습된 모델을 해석 가능한 형태의 심볼릭 규칙으로 변환하는 REANN 알고리즘을 제안한다. 네트워크 가중치를 정제하고 은닉층 뉴런을 이산화한 뒤, 조건부 분할과 규칙 축소 과정을 거쳐 최종 규칙 집합을 도출한다. 실험 결과 유방암, 아이리스, 당뇨병 등 표준 데이터셋에서 기존 방법과 비교해 규칙 수와 조건 수는 비슷하거나 적으면서도 예측 정확도는 동등하거나 약간 우수함을 보였다.

상세 분석

REANN 알고리즘은 기존의 블랙박스 신경망을 투명한 의사결정 규칙으로 변환하기 위해 네 단계의 학습 및 변환 절차를 설계하였다. 첫 번째 단계에서는 표준 3층 피드포워드 네트워크를 초기화하고, 가중치 감소와 조기 종료 기법을 결합한 4단계 학습 프로토콜을 적용한다. 이 과정에서 학습률과 모멘텀을 동적으로 조정함으로써 과적합을 방지하고 일반화 성능을 향상시킨다. 두 번째 단계에서는 은닉층 뉴런의 활성값을 클러스터링 기반 이산화 기법으로 구간화한다. 여기서는 K‑means와 같은 비지도 군집화를 활용해 연속적인 출력값을 몇 개의 이산 레벨로 매핑함으로써, 이후 규칙 생성 단계에서 조건식의 형태를 단순화한다. 세 번째 단계는 이산화된 은닉 뉴런을 이용해 입력 특성 공간을 다중 구간으로 분할하는 과정이다. 이때 각 구간은 ‘특정 입력 범위 → 특정 은닉 뉴런 활성’ 형태의 전제조건으로 표현되며, 이는 전통적인 결정 트리와 유사한 구조를 만든다. 마지막 단계에서는 생성된 전제조건들을 논리적 합성 및 불필요한 조건 제거 과정을 통해 최소화한다. 여기서는 서브셋 최소화와 규칙 압축을 위한 휴리스틱을 적용해, 동일한 출력 클래스를 설명하는 중복 규칙을 하나로 통합한다.

핵심적인 기술적 기여는 (1) 가중치 정규화와 조기 종료를 결합한 효율적인 학습 스킴, (2) 은닉 뉴런 이산화를 통한 연속‑이산 변환 메커니즘, (3) 다중 구간 분할을 이용한 규칙 전제조건 자동 생성, (4) 규칙 압축을 위한 휴리스틱 기반 최적화이다. 특히 은닉 뉴런 이산화 단계는 신경망의 비선형성을 유지하면서도 규칙 기반 모델이 요구하는 명확한 조건식으로 변환할 수 있게 해준다. 실험에서는 규칙 수가 1015개 수준으로 제한되었으며, 각 규칙당 평균 조건 수는 23개에 머물러 가독성이 높았다. 또한, REANN이 도출한 규칙은 기존 C4.5, CART 등 결정 트리 기반 방법이 만든 규칙과 비교했을 때, 동일하거나 더 높은 정확도를 유지하면서도 구조적으로 간결했다.

이러한 결과는 REANN이 신경망의 높은 예측 성능을 유지하면서도, 도메인 전문가가 이해하고 검증할 수 있는 형태의 지식을 제공한다는 점에서 실용적 가치를 가진다. 특히 의료 진단(유방암)과 같은 고위험 분야에서 모델의 설명 가능성은 신뢰성 확보와 규제 준수에 필수적이므로, REANN은 향후 적용 가능성이 큰 접근법이라 할 수 있다.