신경망 규칙 추출의 새로운 길, HERETIC

초록

HERETIC은 신경망의 각 뉴런을 개별적으로 학습시킨 뒤, C4.5 기반 의사결정트리를 이용해 이진 규칙을 생성하는 혼합형(에클렉틱) 규칙 추출 방법이다. 네트워크 구조 정보를 활용하면서도 학습 기반의 심볼릭 추출을 수행해 기존 방법보다 빠르고 정확한 규칙을 제공한다.

상세 분석

본 논문은 기존 규칙 추출 기법을 크게 ‘분해형(Decompositional)’, ‘교육형(Pedagogical)’, 그리고 이들의 장점을 결합한 ‘에클렉틱(Eclectic)’으로 구분하고, 그 중 에클렉틱 접근법이 아직 충분히 탐구되지 않았음을 지적한다. HERETIC은 이러한 공백을 메우기 위해 “각 뉴런을 독립적인 학습 단위로 보고, 해당 뉴런의 입력‑출력 관계를 C4.5 의사결정트리로 근사한다”는 핵심 아이디어를 제시한다.

1. 알고리즘 흐름

   • 먼저 다층 퍼셉트론(MLP)을 일반적인 역전파로 학습한다.
   • 학습된 네트워크에 훈련 데이터를 투입해 각 뉴런의 출력값을 수집하고, 이를 0/1 이진값으로 이산화한다(출력값이 0.5를 기준으로 구분).
   • 각 뉴런마다 별도의 훈련 세트를 구성하고, C4.5를 적용해 단일 변수 의사결정트리를 생성한다.
   • 트리의 모든 경로를 논리식(합성곱 형태)으로 변환하고, 층별로 결합해 최종적인 디스정션 정규형(DNF) 규칙 집합을 만든다.

2. 기술적 강점

   • 구조 활용: 뉴런 단위로 분해함으로써 네트워크의 내부 연결 정보를 활용한다. 이는 완전한 블랙박스 접근법보다 더 적은 탐색 공간을 제공한다.
   • 학습 기반: 트리 학습은 가중치 분석보다 일반화 능력이 뛰어나며, 복잡한 비선형 관계를 효과적으로 포착한다.
   • 병렬성: 각 뉴런에 대한 트리 학습이 독립적이므로 다중 코어 환경에서 쉽게 병렬화할 수 있다.
   • 범용성: 이산화와 트리 근사가 보편적인 함수 근사기능을 갖추고 있어, 부분 연결, 다층, 심지어 제한적인 순환 구조까지 확장 가능하다.

3. 제한점 및 비판

   • 이진화 가정: 모든 뉴런 출력을 0/1 로 강제 이산화함으로써 정보 손실이 발생한다. 논문은 “스텝 함수에 가까운 급격한 시그모이드”를 제안하지만, 실제 데이터에서 이 방법이 얼마나 안정적인지는 실험적으로 검증되지 않았다.
   • 트리 복잡도: 깊은 네트워크일수록 층별 트리 수가 급증하고, 각 트리의 깊이도 커질 수 있다. 최종 DNF 규칙이 지나치게 길어져 인간이 이해하기 어려워질 위험이 있다.
   • 실험 설계 부족: 논문은 “실험과 이론적 분석을 통해 HERETIC이 속도와 정확도 면에서 우수함을 보였다”고 주장하지만, 구체적인 데이터셋, 비교 대상(예: TREPAN, DEDEC, MofN 등), 평가 지표, 통계적 유의성 등에 대한 상세 내용이 누락되어 있다. 따라서 재현 가능성 및 객관적 검증이 제한적이다.
   • 연산 비용: 트리 학습 자체는 O(N·logN) 정도이지만, 뉴런 수가 수천 개에 달하는 대규모 딥러닝 모델에서는 전체 트리 학습 비용이 여전히 상당할 수 있다. 논문은 “다중 코어에서 병렬화 가능”이라고 언급하지만, 실제 메모리 사용량과 스케줄링 비용에 대한 논의는 없다.

4. 학술적 의의
   HERETIC은 에클렉틱 접근법을 구체적인 구현으로 제시함으로써, “구조 기반 분해 + 학습 기반 근사”라는 두 축을 동시에 만족시키는 새로운 패러다임을 제공한다. 이는 규칙 추출 분야에서 블랙박스와 화이트박스 사이의 중간 지점을 탐색하는 연구자들에게 유용한 설계 원칙을 제시한다. 또한, 트리 기반 근사가 함수 근사에 충분히 강력함을 재확인함으로써, 향후 신경망 설명 가능성 연구에 있어 의사결정트리와 같은 심볼릭 모델의 재활용 가능성을 시사한다.