ESSMArT 기반 사용자 요청 자동 관리 시스템

초록

본 논문은 사용자 요청을 자동으로 요약·에스컬레이션·티켓 생성·담당 개발자 할당까지 수행하는 ESSMArT 프레임워크를 제안한다. 4,114개의 실제 티켓을 이용한 내부 평가와 315개의 실제 요청에 대한 외부 평가 결과, 요약 정확도, 에스컬레이션 예측 정밀도 0.9, 평균 시간 절감 9.2분을 달성하였다.

상세 분석

ESSMArT는 사용자 요청 관리 프로세스를 다섯 단계로 분해한다. 첫 번째 단계는 요청 텍스트의 추출적 요약으로, 논문에서는 다양한 전처리와 TF‑IDF, 토픽 모델링 기반 특징을 활용한 지도학습 모델이 가장 높은 F1 점수를 기록했다. 두 번째 단계는 에스컬레이션 여부를 예측하는 분류기로, Random Forest가 대화 내용과 요약 결과를 결합한 특성 집합에서 정밀도 0.90, 재현율 0.55라는 우수한 성능을 보였다. 세 번째와 네 번째 단계는 각각 티켓 제목을 생성하는 추상적 요약과 티켓 본문을 구성하는 과정이다. 여기서는 사전 구축된 동의어 사전과 템플릿 기반 텍스트 생성 방식을 사용했으며, 인간 전문가가 만든 티켓과 71 % 일치율을 달성했다. 마지막 단계는 개발자 할당으로, 과거 티켓 메타데이터와 현재 개발자 가용성을 고려한 최근접 이웃 기반 매칭 알고리즘을 적용했다. 전체 파이프라인은 Brightsquid의 CRM 워크플로우에 직접 통합되었으며, 315건의 실제 요청에 대해 평균 9.2분(≈15 %의 전체 처리 시간) 절감 효과를 입증했다. 연구는 또한 데이터 편향, 요약 품질의 주관성, 개발자 할당 시 고려해야 할 다중 목표(우선순위, 전문성, 부하) 등 한계를 명시하고, 향후 딥러닝 기반 요약·멀티라벨 분류·강화학습 기반 할당으로 확장할 가능성을 제시한다. 전체적으로 ESSMArT는 도메인 특화 데이터와 기존 머신러닝 기법을 적절히 결합해 실무 적용 가능성을 높였으며, 스타트업 수준의 제한된 인력으로도 사용자 요청 처리 속도와 정확성을 크게 향상시킬 수 있음을 보여준다.