LSTM에서 규칙 추출 자동화

초록

본 논문은 LSTM 기반 자연어 처리 모델의 내부 작동을 해석하기 위해, 각 입력 단어가 최종 예측에 미치는 기여도를 정량화하는 새로운 중요도 점수 방식을 제안한다. 이 점수를 이용해 일관되게 중요한 구문을 자동으로 추출하고, 추출된 구문 집합으로 간단한 규칙 기반 분류기를 구축함으로써 원래 LSTM의 성능을 근사한다. 감성 분석과 위키무비 질문응답 두 데이터셋에서 실험을 수행해 방법의 유효성을 입증한다.

상세 분석

이 연구는 LSTM의 출력 확률을 단어별 기여도의 곱셈적·덧셈적 분해로 표현함으로써, 각 단어가 최종 클래스 확률에 미치는 영향을 명시적으로 계산한다. 먼저, 전통적인 셀 상태 업데이트 식을 이용해 각 시점 j 에서의 셀 변화 Δc_j = tanh(c_j)−tanh(c_{j−1}) 를 정의하고, 이를 가중치 W_i 와 출력 게이트 o_T 에 결합해 β_{i,j}=exp(W_i·(o_T⊙Δc_j)) 라는 기여도 지표를 만든다. 이 방식은 단어 j 가 직접적으로 클래스 i 에 미치는 곱셈적 영향력을 포착한다. 그러나 LSTM의 forget gate f 가 이후 시점에 셀 상태를 감소시키는 효과를 무시하면 과다한 양성 예측이 발생한다는 한계가 있다. 이를 보완하기 위해, 셀 상태를 전체 시점에 걸친 forget gate의 누적 곱으로 가중한 γ_{i,j}=exp(W_i·(o_T⊙(tanh((∏{k=j+1}^{T}f_k)·c_j)−tanh((∏{k=j}^{T}f_k)·c_{j−1})))) 를 도입한다. 즉, 각 단어의 기여도를 해당 단어 이후의 forget gate 흐름까지 반영한 형태로 재정의함으로써 더 정교한 중요도 점수를 얻는다.

이후, 구문 추출 단계에서는 β 또는 γ 점수를 활용해 연속된 단어 시퀀스가 특정 클래스에 대해 상대적으로 높은 평균 기여도를 보이는지를 평가한다. 구문 w_1,…,w_k 에 대해 클래스 1 과 2 의 평균 기여도 S_1, S_2 를 계산하고, S=max(S_1,S_2) 와 C=argmax(S_1,S_2) 를 정의한다. 높은 S 값을 갖는 구문을 후보로 선정하고, 임계값 c=1 을 초과하는 단어를 포함하는 연속 구문을 브루트 포스 탐색 대신 두 단계(후보 생성 → 점수 재평가)로 효율적으로 추출한다.

추출된 구문 집합은 규칙 기반 분류기에 입력된다. 문서에서 구문을 순차적으로 매칭하고, 최초로 매칭된 구문의 클래스 C 를 반환함으로써, 복잡한 LSTM을 대체할 수 있는 해석 가능하고 경량화된 모델을 만든다.

실험에서는 Yelp 리뷰 polarity와 Stanford Sentiment Treebank(SST) 두 감성 분석 데이터셋, 그리고 위키무비(WikiMovies) 질문응답 데이터셋을 사용한다. LSTM 기반 베이스라인은 각각 95.3%·87.3% (Yelp·SST) 의 정확도를 기록했으며, 제안된 셀 분해 패턴 매칭은 86.5%·76.2% 로 gradient 기반 방법보다 우수했다. 특히 긴 문서가 많은 Yelp에서는 false positive를 억제하는 데 셀‑차이 패턴이 효과적이었다. WikiMovies에서는 질문‑조건부 LSTM에 동일한 중요도 점수와 구문 추출 절차를 적용해, KV‑MemNN(68.3%·76.2%) 대비 LSTM 기반 모델(80.1%)에 가까운 성능을 보였으며, 셀 분해 패턴 매칭(74.3%·69.4%)이 gradient 기반(57.4%)보다 현저히 높은 hit@1을 달성했다.

전체적으로 이 논문은 LSTM 내부의 게이트 동작을 수학적으로 분해해 단어‑레벨 기여도를 정량화하고, 이를 기반으로 의미 있는 구문을 자동 추출함으로써 ‘블랙 박스’ 모델을 인간이 이해 가능한 규칙 집합으로 변환한다는 중요한 기여를 한다. 또한, 제안된 방법이 다양한 NLP 태스크에 적용 가능함을 실증함으로써, 모델 해석 가능성 및 경량화된 배포 환경에서의 활용 가능성을 동시에 제시한다.