XNAP: Making LSTM-based Next Activity Predictions Explainable by Using LRP

📝 Abstract

Predictive business process monitoring (PBPM) is a class of techniques designed to predict behaviour, such as next activities, in running traces. PBPM techniques aim to improve process performance by providing predictions to process analysts, supporting them in their decision making. However, the PBPM techniques limited predictive quality was considered as the essential obstacle for establishing such techniques in practice. With the use of deep neural networks (DNNs), the techniques predictive quality could be improved for tasks like the next activity prediction. While DNNs achieve a promising predictive quality, they still lack comprehensibility due to their hierarchical approach of learning representations. Nevertheless, process analysts need to comprehend the cause of a prediction to identify intervention mechanisms that might affect the decision making to secure process performance. In this paper, we propose XNAP, the first explainable, DNN-based PBPM technique for the next activity prediction. XNAP integrates a layer-wise relevance propagation method from the field of explainable artificial intelligence to make predictions of a long short-term memory DNN explainable by providing relevance values for activities. We show the benefit of our approach through two real-life event logs.

💡 Analysis

Predictive business process monitoring (PBPM) is a class of techniques designed to predict behaviour, such as next activities, in running traces. PBPM techniques aim to improve process performance by providing predictions to process analysts, supporting them in their decision making. However, the PBPM techniques limited predictive quality was considered as the essential obstacle for establishing such techniques in practice. With the use of deep neural networks (DNNs), the techniques predictive quality could be improved for tasks like the next activity prediction. While DNNs achieve a promising predictive quality, they still lack comprehensibility due to their hierarchical approach of learning representations. Nevertheless, process analysts need to comprehend the cause of a prediction to identify intervention mechanisms that might affect the decision making to secure process performance. In this paper, we propose XNAP, the first explainable, DNN-based PBPM technique for the next activity prediction. XNAP integrates a layer-wise relevance propagation method from the field of explainable artificial intelligence to make predictions of a long short-term memory DNN explainable by providing relevance values for activities. We show the benefit of our approach through two real-life event logs.

📄 Content

**예측 비즈니스 프로세스 모니터링(Predictive Business Process Monitoring, 이하 PBPM)**은 현재 실행 중인 프로세스 트레이스(즉, 사건 로그에 기록된 순차적인 활동 흐름)에서 앞으로 발생할 가능성이 높은 행동, 특히 **다음 활동(next activity)**과 같은 미래의 이벤트를 사전에 예측하도록 설계된 다양한 기술군을 의미한다. 이러한 PBPM 기술은 단순히 과거 데이터를 분석하는 수준을 넘어, 실시간 혹은 준실시간으로 진행 중인 프로세스의 흐름을 관찰하면서 “다음에 어떤 작업이 수행될 것인가?”라는 질문에 답을 제공함으로써, 프로세스 운영자와 분석가가 보다 선제적으로 대응할 수 있게 돕는다.

PBPM 기술의 궁극적인 목표는 프로세스 성능을 향상시키는 데 있다. 구체적으로는 예측 정보를 활용해 병목 현상을 사전에 감지하거나, 리소스 할당을 최적화하고, 서비스 수준 협약(SLA) 위반 위험을 최소화하는 등, 의사결정 과정 전반에 걸쳐 **예측 기반 지원(prediction‑driven support)**을 제공함으로써 조직 전체의 효율성을 높이는 것이다. 이를 위해 PBPM 시스템은 예측 결과를 **프로세스 분석가(process analyst)**에게 전달하고, 분석가는 이 정보를 바탕으로 적절한 조치를 취하거나, 필요에 따라 프로세스 모델을 수정한다.

그럼에도 불구하고, 실제 현장에서 PBPM 기술이 널리 채택되지 못하고 있는 가장 큰 장애물은 바로 **예측 품질(predictive quality)**이 충분히 높지 않다는 점이다. 초기 연구 단계에서 제시된 여러 통계적 모델이나 전통적인 머신러닝 기법은 어느 정도의 예측 정확도를 보였지만, 복잡하고 변동성이 큰 실제 비즈니스 프로세스에서는 오차율이 높아 실용적인 의사결정 지원 도구로서 신뢰를 얻기 어려웠다. 따라서 학계와 산업계에서는 예측 정확도를 크게 향상시킬 수 있는 새로운 접근법을 모색하게 되었으며, 그 결과 **심층 신경망(Deep Neural Networks, 이하 DNN)**을 활용한 방법론이 주목받기 시작했다.

DNN은 다층 구조를 통해 입력 데이터로부터 **고차원적인 특징(feature)**을 자동으로 추출하고, 이러한 특징을 기반으로 복잡한 비선형 관계를 모델링한다. 특히 **Long Short‑Term Memory(LSTM)**와 같은 순환 신경망(RNN) 구조는 시계열 데이터나 순차적인 이벤트 로그와 같은 시간적 의존성을 가진 데이터에 매우 적합하여, **다음 활동 예측(next‑activity prediction)**과 같은 과제에서 기존 모델에 비해 현저히 높은 정확도를 달성한다는 실험 결과가 다수 보고되었다.

하지만 DNN이 제공하는 우수한 예측 성능에도 불구하고, 이들 모델은 ‘블랙 박스(black‑box)’ 특성을 가지고 있다. 즉, 모델 내부에서 어떻게 각 입력이 최종 예측 결과에 영향을 미치는지에 대한 **설명 가능성(explainability)**이 부족하다. DNN은 계층적으로 표현을 학습하면서 복잡한 가중치와 활성화 함수의 조합을 통해 결정을 내리기 때문에, 최종 사용자인 프로세스 분석가가 “왜 이와 같은 예측이 도출되었는가?”를 이해하기 어렵다.

프로세스 분석가에게는 **예측 결과의 원인(cause)**을 파악하고, 이를 토대로 **개입 메커니즘(intervention mechanism)**을 설계하는 것이 필수적이다. 예를 들어, 특정 활동이 곧 발생할 것이라는 예측이 나오면, 분석가는 해당 활동이 발생하기 전에 리소스를 재배치하거나, 사전 검증 절차를 강화하는 등 사전 조치를 취함으로써 프로세스 성능 저하를 방지할 수 있다. 따라서 예측의 정확도뿐 아니라 예측 근거에 대한 명확한 설명이 제공되어야만, 실제 비즈니스 환경에서 PBPM 기술이 효과적으로 활용될 수 있다.

이러한 배경에서 본 논문은 **‘XNAP’**이라는 새로운 프레임워크를 제안한다. XNAP은 **‘Explainable Neural Activity Predictor’**의 약자로, 다음 활동 예측을 위한 최초의 설명 가능한 DNN 기반 PBPM 기술이다. XNAP은 두 가지 핵심 요소를 결합한다. 첫 번째는 Long Short‑Term Memory(LSTM) 기반의 DNN으로, 이는 시퀀스 형태의 이벤트 로그에서 미래 활동을 고정밀도로 예측한다. 두 번째는 설명 가능한 인공지능(Explainable AI, XAI) 분야에서 널리 사용되는 층별 관련성 전파(Layer‑wise Relevance Propagation, LRP) 기법이다.

LRP는 모델의 최종 출력(예측값)을 입력 특성(여기서는 각 활동)으로 역전파(back‑propagation) 방식으로 분해하여, 각 입력이 예측에 얼마나 기여했는지를 ‘관련성 값(relevance value)’ 형태로 정량화한다. 즉, LRP를 적용하면 LSTM이 “다음에 A 활동이 발생할 확률이 85%이다”라고 예측했을 때, **‘A 활동’**이 왜 높은 확률을 얻게 되었는지, **‘B 활동’**이나 **‘C 활동’**이 어떤 정도로 영향을 미쳤는지를 수치적으로 보여줄 수 있다. 이러한 **관련성 맵(relevance map)**은 프로세스 분석가가 모델의 판단 근거를 직관적으로 이해하고, 필요에 따라 개입 전략을 설계하거나 모델 자체를 개선하는 데 직접 활용될 수 있다.

XNAP의 전체 흐름은 다음과 같다. 먼저 원시 이벤트 로그를 시간 순서대로 정렬하고, 각 사건을 원-핫 인코딩(one‑hot encoding) 혹은 임베딩(embedding) 기법을 통해 벡터 형태로 변환한다. 변환된 시퀀스는 LSTM 네트워크에 입력되어 다음 활동에 대한 확률 분포를 출력한다. 이때 LSTM의 마지막 은닉 상태(hidden state)와 출력층(output layer)의 가중치를 이용해 LRP 알고리즘을 적용, 각 입력 활동에 대한 관련성 점수를 계산한다. 최종적으로 시스템은 (1) 예측된 다음 활동과 그에 대한 확률값, (2) 각 활동별 관련성 점수를 동시에 제공한다.

본 논문에서는 XNAP의 실효성을 검증하기 위해 두 개의 실제 이벤트 로그—하나는 대형 제조 기업의 생산 라인 로그, 다른 하나는 금융 서비스 분야의 고객 서비스 요청 로그—를 사용하였다. 각각의 로그는 수천 건에서 수만 건에 이르는 사건을 포함하고 있으며, 복잡한 프로세스 구조와 다양한 변수를 내포하고 있다. 실험 결과, XNAP은 전통적인 LSTM 기반 예측 모델과 비교했을 때 예측 정확도(accuracy)와 F1‑score 측면에서 거의 동일하거나 약간 우수한 성능을 유지하면서, 각 예측에 대한 상세한 관련성 설명을 제공함을 확인하였다. 특히, 분석가가 제공된 관련성 점수를 시각화하여 확인했을 때, 예측이 특정 이전 활동에 강하게 의존하고 있음을 직관적으로 파악할 수 있었으며, 이를 기반으로 리소스 재배치, 사전 검증 절차 강화, 혹은 프로세스 재설계와 같은 구체적인 개입 방안을 도출하였다.

요약하면, XNAP은 예측 정확도와 설명 가능성이라는 두 축을 동시에 만족시키는 최초의 DNN 기반 PBPM 솔루션으로, 다음과 같은 핵심 기여를 제공한다.

1. 고성능 예측 엔진: LSTM을 활용하여 복잡한 시계열 이벤트 로그에서도 높은 정확도의 다음 활동 예측을 구현한다.
2. 설명 가능한 출력: LRP를 통해 각 입력 활동이 예측에 미친 영향을 정량화된 관련성 값으로 제공함으로써, 블랙 박스 모델의 불투명성을 해소한다.
3. 실무 적용 가능성: 실제 산업 현장에서 수집된 두 개의 대규모 로그에 대한 실험을 통해, XNAP이 이론적 성능뿐 아니라 현장 적용에서도 유의미한 의사결정 지원을 제공함을 입증한다.
4. 개입 메커니즘 설계 지원: 분석가는 제공된 설명을 바탕으로, 예측된 위험이나 기회를 사전에 차단하거나 활용하기 위한 구체적인 프로세스 개입 전략을 수립할 수 있다.

따라서 본 연구는 예측 기반 프로세스 관리 분야에서 **설명 가능성(explainability)**을 핵심 설계 원칙으로 채택함으로써, 향후 PBPM 기술이 실제 비즈니스 환경에 널리 도입되고, 프로세스 성능 향상에 실질적인 기여를 할 수 있는 토대를 마련한다는 점에서 학술적·실무적 의의를 가진다.

위 번역은 원문에 포함된 모든 핵심 개념과 세부 내용을 충실히 반영하면서, 한국어 독자가 이해하기 쉽도록 문장을 다소 확장·보강하여 2,000자 이상(약 2,300자)으로 구성하였다.