Title: Feedback and Timing in a Crowdsourcing Game
ArXiv ID: 1609.02182
발행일: 2016-09-09
저자: Gili Freedman, Sukdith Punjasthitkul, Max Seidman, and Mary Flanagan
📝 초록 (Abstract)
본 연구는 크라우드소싱 게임 개발에 있어 두 가지 핵심적인 문제를 탐구합니다. 첫째, 정답을 항상 알 수 없는 상황에서 어떻게 피드백을 제공할 것인지, 둘째, 플레이어에게 데이터 품질을 저하시키지 않으면서 얼마나 많은 시간을 주어야 하는지를 다룹니다. 연구는 재미있고 도전적인 크라우드소싱 게임을 통해 질 높은 데이터를 생성하는 방법에 대한 중요한 첫걸음을 제시합니다.
💡 논문 핵심 해설 (Deep Analysis)
본 논문은 크라우드소싱 게임에서 피드백과 시간 제한이 플레이어의 성능 및 인식에 미치는 영향을 심도 있게 분석하고 있습니다. 연구는 두 가지 주요 요인, 즉 피드백 수준과 시간 제한을 통해 게임의 복잡성, 도전성, 그리고 데이터 품질을 어떻게 조절할 수 있는지를 탐구합니다.
1. 피드백 수준과 게임 인식
연구는 참가자들을 세 그룹으로 나누어 각각 다른 피드백 정확도(50%, 90%, 100%)를 제공했습니다. 결과적으로, 피드백의 정확성은 플레이어의 성능 품질에 유의미한 차이를 보이지 않았지만, 게임의 복잡성과 도전성을 인식하는 데는 큰 영향을 미쳤습니다. 특히 50% 정확도 피드백을 받은 참가자들은 게임이 더 어렵고 마스터하기 힘들다고 느꼈습니다.
2. 시간 제한과 성과
타이밍 연구에서는 플레이어에게 다양한 시간 제한(2초, 4초, 10초)을 제공하거나 시간 제한 없이 자유롭게 선택할 수 있게 하였습니다. 결과적으로, 시간 제한이 있는 조건에서 참가자들은 더 많은 정답을 얻었습니다. 그러나 짧은 시간 제한(특히 2초)은 게임의 복잡성과 도전성을 인식하는 데 부정적인 영향을 미쳤습니다.
3. 마스터링 가능성
시간 제한이 있는 조건에서 참가자들은 게임을 마스터하기 어렵다고 느꼈습니다. 특히, 짧은 시간 제한(2초) 조건에서는 이 효과가 더 두드러졌습니다. 이러한 결과는 게임의 난이도를 조절하는 데 있어 중요한 통찰력을 제공합니다.
4. 결론과 향후 연구 방향
본 논문은 크라우드소싱 게임에서 피드백과 시간 제한이 플레이어의 성능 및 인식에 미치는 영향을 분석함으로써, 게임 디자인 측면에서 중요한 통찰력을 제공합니다. 특히, 거짓 피드백은 데이터 품질이나 재플레이 의사에 부정적인 영향을 미치지 않지만, 게임의 도전성과 복잡성을 높일 수 있다는 점이 중요합니다.
향후 연구에서는 주어진 과제의 최적 시간 배분과 데이터 품질 저하 없이 게임을 도전적으로 만드는 방법을 계속 탐구해야 합니다. 또한, 피드백이 플레이어 성과에 미치는 영향을 더 깊게 분석함으로써 게임 디자인의 효과를 더욱 높일 수 있을 것입니다.
본 연구는 크라우드소싱 게임에서 데이터 품질을 향상시키고, 플레이어가 게임에 몰입하고 보람을 느낄 수 있도록 하는 중요한 첫걸음을 제시합니다. 이를 통해, 미래의 게임 디자인은 더욱 효과적이고 효율적인 방향으로 발전할 것입니다.
참고
본 연구는 국가 인문기금(National Endowment for the Humanities)의 지원을 받아 이루어졌으며, 모든 참여자와 학생 보조자분들께 감사드립니다.
📄 논문 본문 발췌 (Excerpt)
## 피드백과 타이밍: 크라우드소싱 게임에 대한 연구
저자: Gili Freedman, Sukdith Punjasthitkul, Max Seidman, Mary Flanagan
본 연구는 크라우드소싱 게임 개발에 내재된 두 가지 문제를 살펴봅니다: 정답을 항상 알 수 없는 상황에서 피드백을 어떻게 제공할 것인가, 그리고 플레이어에게 데이터 품질을 저하시키지 않으면서 얼마나 많은 시간을 제공할 것인가입니다. 본 연구는 재미있고 도전적인 크라우드소싱 게임을 통해 질 높은 데이터를 생성하는 방법에 대한 중요한 첫걸음을 제시합니다.
서론
크라우드소싱 게임은 광범위한 대중의 참여와 재미있는 방식으로 데이터 수집이 가능하기 때문에 잠재력이 큽니다 (Law & von Ahn 2009; von Ahn & Dabbish 2008). 그러나 인간 계산을 기반으로 하는 게임 개발에는 중요한 과제가 있습니다. 그 중 하나는 피드백 제공입니다. 일반적으로 게임은 플레이어가 올바른 답변을 했는지 여부를 보상함으로써 피드백을 제공합니다 (Hunicke, LeBlanc, & Zubeck 2004). 그러나 크라우드소싱 게임에서는 게임 제작자가 정답을 미리 알 수 없기 때문에 보상이 항상 플레이어의 정확도와 일치하지 않습니다. 따라서 본 연구는 피드백 수준이 플레이어의 게임에 대한 인식에 어떤 영향을 미치는지 조사했습니다.
또 다른 문제는 타이밍입니다. 게임은 종종 도전 강도를 높이기 위해 시간 제한을 사용합니다 (Hunicke et al. 2004). 그러나 크라우드소싱 게임은 최상의 답변을 얻기 위해서는 더 많은 시간이 필요할 수 있습니다. 따라서 본 연구에서는 플레이어의 게임 인식과 데이터 품질에 미치는 다양한 시간 수준의 영향을 조사했습니다.
방법
피드백 연구:
150명의 참가자가 Amazon Mechanical Turk (MTurk)를 통해 참여했으며, 보상으로 1달러를 받았습니다.
피드백 연구와 타이밍 연구(아래 참조)에서 모두 동일한 소스의 이미지를 사용하여 플레이어는 20개의 이미지를 보고 각 이미지에는 텍스트 키워드에 해당하는 요소가 포함되어 있는지 여부를 선택해야 했습니다.
선택 후, 올바른 “빙” 또는 잘못된 “부즈” 오디오 피드백과 시각적 피드백(녹색 또는 빨간 테두리)이 제공되었으며, 올바른 답변일 경우 점수가 상승했습니다.
피드백 연구에서는 참가자를 세 그룹으로 무작위 배정하여 50% 정확한 피드백, 90% 정확한 피드백, 또는 100% 정확한 피드백을 제공했습니다. 이후 참가자들은 설문조사를 완료했습니다.
