지원 분석가가 고객을 이해하는 방법 대규모 소프트웨어 조직의 티켓 에스컬레이션 예측

초록

IBM 현장에서 수행된 연구는 지원 티켓의 에스컬레이션 위험을 예측하기 위해 지원 분석가의 현장 지식을 특징으로 추출하고, 이를 머신러닝 모델에 적용하였다. 250만 건 이상의 티켓 데이터와 1만 건의 에스컬레이션 사례를 학습시킨 결과, 79.9%의 재현율과 분석가 업무량 80.8% 감소를 달성했으며, 프로토타입 도구를 통한 현장 적용에서도 회의 효율성이 향상되었다.

상세 분석

본 논문은 디자인 사이언스 방법론을 기반으로 IBM의 고객 지원 프로세스를 심층 탐색하고, 지원 분석가가 일상적으로 활용하는 암묵적 지식을 정량적 특징으로 전환하는 과정을 상세히 기술한다. 먼저, 현장 관찰과 반구조화 인터뷰를 통해 지원 티켓(Problem Management Record, PMR)과 에스컬레이션(CritSit) 관리 흐름을 파악하고, 분석가가 고객의 비즈니스 중요도, 감정 상태, 과거 이슈 패턴, 티켓 심각도·우선순위, 응답 시간, 담당자 교체 횟수 등 ‘고객‑이슈‑맥락’ 삼각형을 어떻게 평가하는지 도출한다. 이러한 도메인 지식은 특징 엔지니어링 단계에서 ‘고객 프로파일’, ‘이슈 복합성’, ‘상호작용 히스토리’, ‘지원 팀 역량’ 등 20여 개의 구조화된 변수로 변환되었다.

머신러닝 모델은 비용 민감 학습(cost‑sensitive learning)과 앙상블 기법을 결합했으며, 불균형 데이터(에스컬레이션 비율 <0.5%)에 대해 재현율을 최우선 목표로 최적화하였다. 2.5백만 건의 티켓 중 1만 건의 에스컬레이션을 라벨링하여 학습·검증한 결과, 재현율 79.9%와 정밀도 45% 수준을 기록했으며, 이는 기존 연구에서 보고된 60%대 재현율을 크게 상회한다. 특히, 모델이 예측한 고위험 티켓 10%만을 분석가가 집중 검토하면 전체 에스컬레이션 사례의 80% 이상을 사전에 포착할 수 있어 업무 부하를 80.8% 감소시켰다.

현장 적용 단계에서는 프로토타입 대시보드가 주간 티켓 관리 회의에 통합되어, 분석가가 실시간으로 위험 티켓을 확인하고 선제적 조치를 취하도록 지원하였다. 사용성 평가에서는 회의 시간 단축, 의사결정 투명성 향상, 그리고 고객 만족도 지표의 긍정적 변화를 보고하였다. 연구는 또한 특징 집합이 IBM 외 다른 대기업에도 일반화 가능하도록 설계되었으며, 향후 연구에서는 텍스트 기반 감성 분석과 시계열 예측을 결합해 모델 성능을 더욱 고도화할 여지를 제시한다.