생산성을 넘어 창의성 지원 도구의 영향 재고

초록

**
본 논문은 2015‑2024년 ACM 디지털 라이브러리에서 발표된 173편의 창의성 지원 도구(CST) 평가 연구를 메타분석하여, 현재 주로 사용되는 평가 지표가 사용자 경험(90%)과 창작물 품질(54%)에 집중되고, 사용자의 자기성찰·웰빙 등 개인적 이익을 측정하는 지표는 15%에 불과함을 밝혀낸다. 저자들은 평가 패러다임을 보다 포괄적으로 전환해, 정량적·정성적 사용자 중심 지표와 생성형 AI 특화 측정 도구의 개발을 촉구한다.

**

상세 분석

**
이 연구는 기존 CST 평가 문헌을 체계적으로 정리함으로써, 평가 지표의 구조적 불균형을 드러낸다. 첫 번째 테마인 ‘사용자 경험’은 SUS, NASA‑TLX, UEQ 등 전통적인 사용성·작업 부하 척도를 포함하며, 이는 전체 논문의 90%에서 보고되었다. 이러한 편중은 도구가 실제 창의적 프로세스에 미치는 인지적·정서적 영향을 충분히 포착하지 못한다는 한계를 내포한다. 두 번째 테마인 ‘창작물 품질’은 독창성, 유용성, 완성도 등을 평가하는 전문가 평점, 자동 메트릭(예: BLEU, ROUGE) 등을 활용했으며, 54%의 논문에서 적용되었다. 그러나 이 역시 결과물의 객관적 품질에만 초점을 맞추어, 사용자가 창작 과정에서 얻는 학습·성장 효과를 간과한다. 세 번째 테마인 ‘사용자 중심 이익’은 자기성찰, 정서적 웰빙, 학습 효과 등 개인적 차원의 변화를 측정하는데, 현재는 15% 이하에 불과하다. 이는 특히 생성형 AI가 도입된 최신 CST에서 사용자의 창의적 자아와 정서적 상태가 어떻게 변하는지를 파악할 근거가 부족함을 의미한다.

저자들은 이러한 불균형을 해소하기 위해, (1) 정량적 사용자 경험 척도의 검증을 강화하고, (2) 생성형 AI 특유의 ‘공동창작’ 상황을 반영한 새로운 메트릭(예: 인간‑AI 협업 효율성, 창의적 흐름 지속성) 개발을 제안한다. 또한, ‘학습·자기효능감·정서적 회복탄력성’ 등 장기적 사용자 혜택을 측정할 수 있는 심리학적 도구(예: PANAS, Flow State Scale)의 적용을 권고한다. 마지막으로, 다학제적 협업을 통해 CST 평가 프레임워크를 재구성하고, 연구자·디자이너가 도구 설계 단계에서부터 이러한 다차원 지표를 내재화하도록 촉구한다.

**