규칙이 결합된 신경망 ReNN

초록

ReNN은 로컬 패턴 검출을 위한 신경망과 도메인 지식 기반 규칙을 결합해 전역 추론을 수행한다. 두 단계 최적화로 규칙 적용 시 발생하는 비미분 가능성을 해결하고, 장기 의존성을 규칙으로 대체함으로써 데이터 요구량을 감소시키고 해석 가능성을 높인다. 시간‑시계열 탐지 실험에서 기존 모델 대비 정확도가 향상되었다.

상세 분석

본 논문은 전통적인 딥러닝 모델이 “데이터 의존성”과 “해석 불가능성”이라는 두 가지 근본적인 한계에 직면한다는 점을 출발점으로 삼는다. 이를 극복하기 위해 제안된 Rule‑embedded Neural Network(ReNN)는 크게 세 가지 모듈로 구성된다. 첫 번째 모듈은 Local‑based Inference로, CNN·RNN·Transformer 등 기존의 신경망 구조를 활용해 입력 시계열 혹은 이미지에서 짧은 시간·공간 스케일의 특징(예: 급격한 상승, 특정 파형)을 자동으로 추출한다. 두 번째 모듈은 Rule‑modulated Map 생성 단계이다. 도메인 전문가가 정의한 규칙(예: “연속 3개의 상승 구간이 있으면 이벤트 발생”)을 논리 연산 혹은 퍼지 함수를 통해 로컬 패턴에 매핑하고, 이를 확률적 혹은 가중치 형태의 지도(map)로 변환한다. 이때 규칙은 미분 가능하도록 연속적인 함수 형태로 구현하거나, 이산적 규칙은 서브그라디언트 기법으로 근사한다. 세 번째 모듈은 Global‑based Inference로, 로컬 특징과 규칙‑모듈에서 생성된 지도를 결합해 최종 예측을 수행한다. 여기서는 두 입력 스트림을 concat하거나 attention 메커니즘을 적용해 상호 보완적인 정보를 융합한다.

학습 측면에서 ReNN은 Two‑Stage Optimization을 채택한다. 1단계에서는 규칙이 없는 순수 신경망을 사전학습시켜 로컬 패턴 검출 능력을 확보한다. 2단계에서는 고정된 규칙을 포함한 전체 네트워크를 미세조정한다. 규칙 파라미터는 고정하거나, 필요 시 작은 학습률로 미세조정해 규칙‑지도와 신경망 출력 사이의 균형을 맞춘다. 이 전략은 규칙이 비미분 가능성을 야기하는 문제를 회피하면서도, 규칙이 제공하는 장기 의존성(예: “지난 10분간 평균값이 일정 수준 이하”)을 효과적으로 모델에 주입한다.

실험에서는 전형적인 ECG 이상 탐지와 산업용 센서 데이터의 이상 감지를 대상으로 기존 CNN, LSTM, Transformer와 비교하였다. ReNN은 동일한 파라미터 수 대비 3~5%의 정확도 향상을 보였으며, 특히 학습 데이터가 10% 수준으로 제한될 때 성능 저하가 최소화되는 특징을 보였다. 해석 가능성 평가에서는 규칙‑모듈이 제공하는 시각화된 지도와 로컬 패턴 매칭 결과를 통해 전문가가 모델 결정을 직관적으로 검증할 수 있었다.

하지만 몇 가지 한계도 존재한다. 규칙 설계가 도메인 전문가에 크게 의존하므로, 규칙이 부정확하거나 과도하게 제약하면 모델 성능이 오히려 저하될 위험이 있다. 또한 규칙‑모듈이 복잡해질 경우 연산 비용이 증가하고, 두 단계 학습 과정이 추가적인 하이퍼파라미터 튜닝을 요구한다. 향후 연구에서는 자동 규칙 추출(예: 연관 규칙 학습)과 규칙‑신경망 간의 동적 가중치 조정을 통해 이러한 제약을 완화할 수 있을 것으로 기대된다.