시각 분석 솔루션의 총괄 평가를 위한 프로세스 기반 모델

초록

**
본 논문은 시각 분석(VA) 시스템의 유용성을 판단하기 위한 “Generic Evaluation Model”(GEM)을 제안한다. GEM은 8개의 평가 방법 범주를 프로세스 흐름으로 추상화해, 각 방법의 실행 단계와 생성되는 증거의 타당성을 비교한다. 이를 통해 평가자의 선택을 돕고, 평가 과정에서 발생할 수 있는 위험 요소를 사전에 인식하도록 한다.

**

상세 분석

**
이 논문은 시각 분석 솔루션의 특수성을 강조한다. 인간‑기계 상호작용이 핵심이므로 전통적인 알고리즘 중심 평가와 달리, 사용자의 행동 변동성을 고려해야 한다는 점을 지적한다. 저자는 이를 해결하기 위해 “Summative Evaluation”을 세 단계(객관적 테스트 → 전문가 피드백 → 가이드라인 검토)로 구분하고, 각 단계가 요구하는 근거의 타당성을 순위화한다. 평가 방법은 이론적·경험적, 정량·정성으로 다시 세분화되며, 8개의 상위 카테고리(복잡도 분석, 객관적 평가, 비교 실험, 설문·리커트, 사례 연구, 인사이트 기반, 휴리스틱·인지적 워크스루, 검사)로 정리된다.

GEM은 입력으로 문제 인스턴스 {P}, 솔루션 {S}, 사용자 {U}를 정의하고, 정답 집합 {a*}와 답변 공간 A를 명시한다. 평가 프로세스는 이들 입력을 바탕으로 증거를 생성하고, 최종적으로 “유용성 판단”이라는 출력으로 귀결한다. 각 평가 경로는 공통적으로 “문제 정의 → 설계 → 실행 → 데이터 수집 → 분석 → 결론”의 단계들을 거치지만, 정량적 방법은 변수 통제와 실험 설계에 중점을 두고, 정성적 방법은 데이터 수집·코딩·주제 분석 등 해석적 절차에 의존한다.

특히 논문은 평가 타당성을 위협하는 위험 요인(예: 혼동 변수, 사용자 편향, 과도한 설계 가정)을 색상(녹색/빨강)으로 표시해 시각적으로 구분한다. 이러한 위험 요인은 “Feasibility”(실행 가능성)와 “Evidence Quality”(증거 품질) 두 축에서 평가 방법을 선택하도록 가이드한다. 즉, 높은 타당성을 요구하지만 비용·시간이 제한된 상황에서는 전문가 피드백이나 휴리스틱 검사가 현실적인 대안이 될 수 있다.

결론적으로 GEM은 시각 분석 솔루션 평가에 있어 “무엇을 평가하고, 어떻게 증거를 만들 것인가”를 구조화된 프로세스로 제시함으로써, 연구자와 실무자가 목적에 맞는 평가 방법을 체계적으로 선택하도록 돕는다.

**