소규모 기업을 위한 사용성 프로세스 자체 평가 방법 UPCASE

초록

UPCASE는 ISO/IEC TR 29110과 ISO/TR 18529를 기반으로 소규모 조직이 자체적으로 사용성 프로세스의 능력을 평가하도록 설계된 방법론이다. 프로세스 참조 모델, 측정 프레임워크, 평가 모델, 온라인 지원 도구로 구성되며, 신뢰성·사용성·이해도·내적 일관성을 사례 연구를 통해 검증하였다.

상세 분석

본 논문은 소규모 조직이 직면하는 비용·인력 제약을 고려한 사용성 프로세스 자체 평가 방법을 제시한다. 먼저 기존의 사용성 성숙도·능력 모델과 소프트웨어 프로세스 자체 평가 기법에 대한 체계적 매핑 연구를 수행하여 요구사항을 도출하였다. 도출된 요구사항은 평가 절차의 경량화, 비전문가 친화적 설문 설계, 명확한 등급 척도, 최소 문서 요구 등을 포함한다.
UPCASE는 네 가지 핵심 구성요소로 이루어진다. 첫째, ISO/TR 18529에 정의된 인간‑중심 설계 프로세스를 기반으로 한 사용성 프로세스 참조 모델을 맞춤화하였다. 여기에는 요구사항 정의, 설계, 구현, 평가 등 주요 하위 프로세스와 각각의 목적·산출물이 명시된다. 둘째, GQM 방식을 적용해 프로세스 목적을 측정 목표로 전환하고, 각 목표를 구체적 질문과 측정 항목으로 분해하였다. 설문 항목은 5점 Likert 척도가 아니라 “전혀 수행되지 않음”, “부분 수행”, “완전 수행” 등 세 단계로 단순화하여 비전문가도 직관적으로 응답할 수 있게 설계되었다. 셋째, ISO/IEC TR 29110‑3에 부합하도록 평가 모델을 정의하고, 각 프로세스 영역에 대해 능력 수준 0‑3을 매핑하였다. 넷째, BPMN으로 시각화한 자체 평가 절차를 제시하고, 웹 기반 도구를 개발하여 설문 배포·응답·자동 점수 산출·보고서 생성을 지원한다.
방법론 개발 단계는 지식 식별·명세·정제의 반복적 과정을 거쳤으며, 전문가 패널을 통한 면밀한 검증을 수행하였다. 평가 검증은 두 차례에 걸친 사례 연구(총 7개 소규모 기업)로 진행되었다. 신뢰성 측면에서는 동일 조직에 대한 반복 적용 시 점수 변동이 5% 이내로 일관성을 보였으며, 내부 일관성 분석(Cronbach α = 0.82)에서도 높은 신뢰도를 확인했다. 사용성 평가는 설문 응답 시간 평균 12분으로 경량성을 입증했고, 참여자 설문에서는 “쉽게 이해한다”, “전문가 없이도 수행 가능하다”는 긍정적 피드백이 다수 확보되었다.
핵심 인사이트는 다음과 같다. ① 소규모 조직은 복잡한 프로세스 모델보다 핵심 활동과 산출물에 집중한 단순화된 참조 모델이 필요하다. ② 비전문가가 직접 평가할 경우 설문 항목의 명확성·응답 척도의 직관성이 결과의 타당성을 좌우한다. ③ 자동화된 온라인 도구는 데이터 수집·분석·보고서 생성의 비용을 크게 절감하며, 평가 결과를 즉시 활용할 수 있게 한다. ④ 기존 대규모 조직용 성숙도 모델을 그대로 적용하면 비용·시간 부담이 커지지만, UPCASE는 이러한 부담을 최소화하면서도 신뢰성 있는 결과를 제공한다는 점에서 실용적 가치가 높다.