IT 서비스 티켓 우선순위 예측: 임베딩 기반 파이프라인 vs 도메인 맞춤 트랜스포머

초록

IT 서비스 관리(ITSM)에서 티켓 우선순위 지정은 운영 효율성에 핵심적이지만, 텍스트 입력의 잡음, 주관적 서술 방식, 심각한 클래스 불균형 때문에 여전히 어려움을 겪는다. 본 연구는 티켓 우선순위 지정에 대해 두 가지 접근법을 평가한다. 첫 번째는 차원 축소, 클러스터링, 전통적 분류기를 결합한 임베딩 기반 파이프라인이며, 두 번째는 텍스트와 수치형 특징을 동시에 처리하도록 미세조정된 다국어 트랜스포머 모델이다. 임베딩 기반 방법은 30가지 구성에 걸쳐 일반화가 제한적이며, 클러스터링은 의미 있는 구조를 포착하지 못하고, 감독 학습 모델은 임베딩 품질에 크게 민감한 것으로 나타났다. 반면 제안된 트랜스포머 모델은 평균 F1 점수 78.5%와 가중 코헨카파 0.80에 근접하는 성능을 달성해 실제 라벨과 높은 일치를 보였다. 이러한 결과는 ITSM 데이터에 대한 일반 임베딩의 한계를 강조하고, 도메인에 특화된 트랜스포머 아키텍처가 운영 티켓 우선순위 지정에 효과적임을 입증한다.

상세 요약

본 논문은 IT 서비스 관리(ITSM) 환경에서 발생하는 서비스 티켓을 자동으로 우선순위화하는 문제를 두 가지 전형적인 방법론으로 비교한다. 첫 번째 접근은 사전 학습된 임베딩(예: Word2Vec, FastText 등)을 활용해 텍스트를 저차원 벡터로 변환한 뒤, 차원 축소(PCA, t‑SNE 등)와 클러스터링(K‑means, DBSCAN 등)을 적용하고, 최종적으로 전통적인 머신러닝 분류기(SVM, Random Forest 등)를 학습시키는 파이프라인이다. 이 방식은 구현이 비교적 간단하고, 각 단계별 모듈을 독립적으로 최적화할 수 있다는 장점이 있다. 그러나 연구 결과는 임베딩 품질에 따라 전체 파이프라인의 성능이 크게 좌우됨을 보여준다. 특히 ITSM 데이터는 전문 용어, 약어, 비정형 문장 구조가 혼재하고, 라벨 간 불균형이 심해 일반적인 사전 학습 임베딩이 해당 도메인 특성을 충분히 포착하지 못한다. 클러스터링 단계에서도 의미 있는 군집이 형성되지 않아, 이후 분류기에 전달되는 특징이 잡음에 가까운 수준이었다. 결과적으로 30가지 다양한 설정을 테스트했을 때, 최고 성능조차도 평균 F1‑score 55% 이하에 머물렀다.

두 번째 접근은 다국어 트랜스포머(BERT, XLM‑R 등)를 기반으로, 텍스트와 함께 티켓의 생성 시간, 서비스 카테고리, 이전 처리 이력 등 수치형 메타데이터를 결합한 입력 형태로 미세조정(fine‑tuning)한 모델이다. 트랜스포머는 자체적인 어텐션 메커니즘을 통해 문맥 정보를 깊이 있게 학습하고, 멀티모달 입력을 자연스럽게 통합할 수 있다. 실험 결과, 이 모델은 평균 F1‑score 78.5%와 가중 코헨카파 0.80에 근접하는 높은 정확도를 기록했으며, 특히 소수 클래스(긴급, 고우선순위)에서도 재현율이 크게 향상되었다. 이는 도메인 특화된 사전 학습과 메타데이터 통합이 클래스 불균형을 완화하고, 모델이 실제 비즈니스 요구에 부합하는 판단을 내리게 함을 의미한다.

이러한 비교를 통해 저자는 몇 가지 중요한 시사점을 도출한다. 첫째, 일반 임베딩을 그대로 적용하는 것은 ITSM과 같이 전문 용어와 잡음이 혼재된 도메인에서는 한계가 있다. 둘째, 차원 축소·클러스터링 기반의 전통적 파이프라인은 데이터 구조를 충분히 반영하지 못해 성능이 제한적이다. 셋째, 도메인에 맞춘 트랜스포머 모델은 사전 학습 단계에서부터 해당 분야의 언어 특성을 학습하도록 설계될 경우, 기존 모델보다 현저히 높은 실용성을 제공한다. 마지막으로, 향후 연구에서는 트랜스포머 기반 모델에 지속적인 온라인 학습과 설명 가능성(XAI) 기법을 결합해, 운영 현장에서 발생하는 새로운 티켓 유형에 빠르게 적응하고, 의사결정 과정을 투명하게 하는 방향이 필요하다.