대규모 언어 모델을 활용한 사용자 스토리 품질 평가 DeepQuali 초기 연구

초록

본 논문은 GPT‑4o 기반의 DeepQuali 시스템을 제안하고, 두 중소기업의 애자일 프로젝트에서 전문가와 비교 평가를 통해 사용자 스토리 품질 자동 평가의 정확도와 실무 수용성을 조사한다. 평가 결과 LLM이 전반적인 품질 점수와 설명에서 전문가와 높은 일치를 보였으며, 사용자는 기능적 피드백과 워크플로 통합 부족을 지적했다.

상세 분석

DeepQuali는 기존 품질 모델(예: INVEST, IN‑VEST, DoR)과 ISO/IEC 29148 표준을 명시적으로 활용해 사용자 스토리의 품질을 정량·정성적으로 평가한다. 입력은 JSON 형식의 사용자 스토리와 메타데이터이며, 시스템 프롬프트와 사용자 프롬프트를 결합해 GPT‑4o에게 “각 기준에 대한 1‑4 점수와 구체적 설명, 개선 권고”를 반환하도록 설계되었다. 온도 0 설정으로 일관성을 확보하고, 평가 항목은 독립성, 구체성, 구현 가능성 등 6개의 INVEST 기준과 ‘Ready‑to‑Implement(RTI)’ 총합 점수로 구성한다.

연구는 두 독일 중소기업(헬스케어 포털, 차량 데이터 관리)에서 각각 5개의 사용자 스토리를 선정해 진행되었다. 전문가 4명(각 기업 2명)이 4점 척도와 다중 진술문을 사용해 라벨링 설문을 수행했으며, 이는 ‘ground truth’로 활용되었다. DeepQuali의 출력과 전문가 라벨을 비교한 결과, 전체 점수와 설명 부분에서 78 % 이상의 일치율을 보였고, 특히 RTI 항목에서 가장 높은 상관관계를 나타냈다. 그러나 세부 기준(예: ‘독립성’ vs ‘구현 가능성’)에서는 전문가 간 변동성이 크며, LLM이 일부 경우 과도하게 긍정적인 평가를 내리는 경향이 발견되었다.

사용자 수용성 조사(RQ2, RQ3)에서는 인터페이스가 초기 단계임에도 불구하고, 6명 중 5명이 “품질 피드백이 실무에 도움이 된다”고 응답했으며, 4명은 “자동화된 평가가 시간 절감에 기여한다”고 평가했다. 반면, “현재 개발 툴 체인에 통합되지 않아 사용이 번거롭다”는 의견이 다수였으며, 이는 향후 플러그인 형태의 구현 필요성을 시사한다.

위협 요인으로는 표본 크기(총 10개 스토리)와 전문가 수 제한, 그리고 데이터 전처리 과정에서 민감 정보 제거가 결과에 미친 영향이 제시되었다. 또한, GPT‑4o 모델 자체의 업데이트와 프롬프트 설계에 따라 평가 일관성이 변동될 수 있음을 인정한다.

결론적으로, DeepQuali는 품질 모델 기반의 구조화된 출력과 설명 제공을 통해 전문가와 높은 수준의 합의를 달성했으며, 실무 적용을 위한 UI/UX 개선과 CI/CD 파이프라인 연계가 향후 연구 과제로 남는다.