이유 공유가 반복적 인간 컴퓨팅에 미치는 영향: 브레인스토밍과 평가 실험 분석

초록

본 연구는 인간 컴퓨팅에서 반복(iterative) 방식에 이전 작업자의 ‘이유(rationale)’를 보여주는 것이 아이디어 품질과 평가 일관성에 미치는 영향을 실험적으로 조사한다. 브레인스토밍 과제와 평가 과제에서 이유를 제공했을 때 평균 점수와 최고 점수는 크게 변하지 않았으며, 평가자의 점수 변동성은 오히려 증가했다. 따라서 이유 공유가 반복적 인간 컴퓨팅의 성과를 향상시킨다는 가설은 지지되지 않았다.

상세 분석

본 논문은 인간 컴퓨팅 분야에서 ‘반복적(iterative)’ 접근법의 잠재력을 탐구하고, 특히 작업자들이 이전 참여자의 이유(rationale)를 인지할 경우 창의적 산출물의 질과 평가 일관성이 어떻게 변하는지를 실증적으로 검증한다. 연구 설계는 Little et al. (2010)의 실험을 그대로 재현하면서, 두 가지 추가 변인을 도입했다. 첫 번째는 브레인스토밍 단계에서 이전 작업자가 제시한 기업명과 그에 대한 이유를 현재 작업자에게 보여줄지 여부(‘이유 제공’ vs ‘비제공’)이며, 두 번째는 평가 단계에서 각 이름에 대한 이유를 평가자에게 제시할지 여부이다.

브레인스토밍 과제는 MTurk에서 6개의 가상 기업 설명에 대해 각각 6번의 반복을 수행하도록 설계되었으며, 각 반복마다 5개의 기업명을 생성하고 그에 대한 이유를 기술하도록 요구했다. 작업자 선정 기준은 97% 이상의 승인율을 가진 고품질 Turker였으며, 중복 이름, 브랜드 이름 사용 금지, 이유 누락 방지 등 엄격한 품질 검증 규칙을 적용했다. 결과적으로 ‘이유 비제공’ 조건에서는 180개의 고유 이름이, ‘이유 제공’ 조건에서는 179개의 고유 이름이 확보되었다.

평가 과제에서는 각 이름을 10명의 독립 평가자가 점수화했으며, 평가자는 이유가 제시된 경우와 제시되지 않은 경우 두 조건에 무작위 배정되었다. 평가 점수의 평균과 표준편차를 비교하기 위해 짝지은 t‑검정을 수행했으며, 평균 점수 차이는 p=.57로 통계적으로 유의하지 않았다. 이는 이유가 작업자에게 추가적인 인지적 단서를 제공했음에도 불구하고, 아이디어의 객관적 품질 판단에 실질적인 영향을 미치지 못했음을 시사한다.

가설 1(이유 제공이 브레인스토밍 품질을 향상시킨다)과 가설 2(이유 제공이 평가 변동성을 감소시킨다)는 모두 실험 결과에 의해 부정되었다. 특히 가설 2와 관련해 표준편차는 이유 제공 조건에서 오히려 2.53으로, 이유 비제공 조건(2.43)보다 크게 나타났다. 저자는 이를 ‘공유 이해의 부재’와 ‘추가 정보가 오히려 해석 차이를 확대’하는 현상으로 해석한다.

방법론적 측면에서 몇 가지 한계가 존재한다. 첫째, 실험에 사용된 브레인스토밍 과제가 기업명 생성이라는 비교적 제한된 도메인에 국한되어 있어, 다른 창의적 과제(예: 스토리텔링, 디자인 아이디어)에서는 결과가 다를 가능성이 있다. 둘째, 이유의 질과 길이가 통제되지 않았으며, 작업자마다 이유 작성 능력이 크게 달라 평가에 편향을 초래했을 수 있다. 셋째, 평가자들이 이유를 읽는 데 소요되는 시간과 인지적 부담을 고려하지 않아, ‘정보 과부하’가 변동성 증가의 원인일 가능성을 배제하지 못한다.

이러한 결과는 인간 컴퓨팅 시스템 설계 시 ‘메타인지적 지원’이 반드시 성과 향상으로 이어지지는 않으며, 오히려 작업 흐름을 복잡하게 만들 위험이 있음을 경고한다. 향후 연구에서는 이유의 구조화(예: 템플릿 기반)와 이유 품질 평가, 그리고 다양한 작업 유형에 대한 일반화 검증이 필요하다. 또한, 이유 공유가 협업적 의사결정이나 문제 해결 과정에서 어떻게 활용될 수 있는지, 그리고 이를 지원하는 인터페이스 설계 원칙을 탐구하는 것이 중요하다.