텍스트 기반 서비스 시스템 설계와 선택적 감사

초록

서비스 시스템의 설계·운영에서 성능을 판단할 근거가 텍스트인 경우가 늘어나고 있다. 저비용 LLM‑judge가 제공하는 편향된 프록시 점수를 활용하되, 인간 전문가의 정확한 감사는 비용이 높다. 본 논문은 프록시 점수와 선택적 인간 감사 데이터를 결합해 편향을 보정하고, 언제·어떤 대안을 추가 평가할지 자동으로 결정하는 PP‑LUCB 알고리즘을 제안한다. 이 방법은 고정 신뢰도 최적 팔 식별(fixed‑confidence BAI) 문제를 확장한 형태이며, 이론적 무편향성·δ‑정확성 증명과 함께 실험에서 90 % 이상의 감사 비용 절감과 100 % 정확한 최선 대안 선택을 입증한다.

상세 분석

본 연구는 서비스 시스템 설계라는 실무적 문제를 통계적 베스트‑팔 식별(BAI) 프레임워크에 매핑한다. 각 대안(팔)은 고객 지원 티켓, 콜센터 대화 등 텍스트 형태의 성과 증거를 생산하고, 저비용 LLM‑judge가 이를