AI 기반 티켓 해결을 위한 RAG4Tickets

초록

**
본 논문은 JIRA 티켓과 GitHub PR 데이터를 통합한 Retrieval‑Augmented Generation(RAG) 파이프라인을 제안한다. Sentence‑Transformer 로 텍스트와 코드 메타데이터를 임베딩하고, FAISS 로 대규모 벡터 검색을 수행한 뒤, LLM 이 검색 결과를 근거로 구체적인 해결 방안을 생성한다. 실험 결과, 기존 티켓 분류·트리아지 방식에 비해 해결 정확도와 시간 감소, 개발자 수용률이 크게 향상됨을 보였다.

**

상세 분석

**
RAG4Tickets는 전통적인 티켓 자동화가 직면한 “지식 파편화” 문제를 근본적으로 해결하고자 한다. 핵심은 세 단계로 구성된다. 첫째, JIRA 티켓, 코멘트, GitHub PR(커밋 메시지, diff 요약, 리뷰 코멘트) 등 이질적인 아티팩트를 동일한 임베딩 공간에 매핑한다. 여기서 논문은 경량화된 all‑MiniLM‑L6‑v2와 multi‑qa‑MPNet‑base‑dot‑v1을 텍스트에, CodeBERT·GraphCodeBERT을 코드 스니펫에 적용해 의미적·구조적 유사성을 동시에 포착한다는 점이 돋보인다. 둘째, FAISS 인덱스를 활용해 수백만 개의 벡터를 실시간 근접 이웃 검색한다. 인덱스 타입을 데이터 규모와 레이턴시 요구에 따라 Flat, IVF, HNSW 중 선택하고, 실험에서는 HNSW가 정확도와 속도의 최적 균형을 제공한다는 결론을 제시한다. 셋째, 검색된 상위 k개의 증거를 LLM(GPT‑4, Claude, LLaMA‑3 등)에게 프롬프트로 전달한다. 프롬프트 템플릿은 티켓 메타데이터, 관련 PR 요약, 과거 해결 단계 등을 구조화해 LLM이 “근거 기반” 답변을 생성하도록 설계되었다. 이 과정에서 LLM은 단계별 해결 방안, 관련 PR 링크, 신뢰도 점수 등을 출력해 개발자가 바로 검증·수용할 수 있게 한다.

논문은 또한 설계 트레이드오프를 상세히 논의한다. 온‑프레미스 FAISS를 선택한 이유는 보안·규정 준수와 GPU 가속을 통한 비용 효율성이다. 경량 임베딩 모델을 채택한 것은 실시간 서비스에 필수적인 저지연을 확보하기 위함이며, 코드‑텍스트 혼합 임베딩은 전통적인 텍스트‑전용 검색이 놓치는 코드 수준 유사성을 보완한다. RAG 구조 자체가 “재학습 없이도 최신 데이터 반영”이 가능하도록 설계돼, 데이터 드리프트에 강인한 특성을 가진다.

실험에서는 Recall@k, MRR, Precision 외에도 MTTR(Mean Time To Resolution) 감소율, 개발자 수용률(acceptance rate) 등을 측정했다. 특히 React 19 마이그레이션 사례에서 평균 해결 시간 42% 단축, 수용률 68% 상승을 기록했다. 이는 검색‑생성 파이프라인이 단순 분류를 넘어 실제 구현 단계까지 가이드할 수 있음을 입증한다.

전반적으로 RAG4Tickets는 “검색 + 생성”을 결합해 엔터프라이즈 수준 티켓 관리에 필요한 정확성, 설명 가능성, 확장성을 모두 만족시키는 실용적 프레임워크라 할 수 있다.

**