동료 평가가 생산성에 미치는 영향: 현장 실험을 통한 새로운 통찰

초록

온라인 노동시장에서 고용된 작업자들을 대상으로 이미지 라벨링 과제와 동료 평가 실험을 진행하였다. 높은 생산성을 보인 작업물을 평가받은 평가자는 자신의 생산성이 상승했으며, 이 효과는 원래 생산성이 높은 평가자에게서 더 크게 나타났다. 평가자는 낮은 노력의 작업을 처벌했지만, 단순히 고용주의 기대에 부합하지 않는다는 이유만으로는 처벌하지 않았다. 생산성을 인위적으로 낮추면 처벌 의향도 감소하는 등, 처벌 성향은 개인의 생산성과 연관된다. 또한, 명확한 상한선이 제시되었음에도 일부 작업자는 높은 생산성을 보이는 비준수 작업을 평가한 뒤 상한선을 초과해 생산량을 늘렸다.

상세 요약

본 연구는 실험실이 아닌 실제 작업 환경에서 동료 효과(peer effects)를 정량화하려는 시도로, 온라인 노동시장인 아마존 메카니컬 터크(MTurk)에서 모집된 피험자들에게 이미지 라벨링 과제를 부여하고, 일부에게는 동료 작업물을 평가하도록 했다. 평가 과정은 금전적 보상을 동반했으며, 평가자가 부여한 점수는 평가받은 작업자의 보상에 직접적인 영향을 미쳤다. 실험 설계는 크게 네 가지 변수를 조작했다. 첫째, 평가 대상 작업물의 생산성 수준(고생산 vs 저생산)；둘째, 평가자의 사전 생산성 수준；셋째, 고용주의 명시적 출력 상한선 존재 여부；넷째, 생산성을 인위적으로 억제하는 ‘생산성 저하 조작’이다.

평가자가 고생산 작업물을 평가한 뒤 자신의 다음 과제에서 평균 12% 정도 생산성이 증가했으며, 특히 사전 생산성이 상위 25%에 속한 평가자들은 18%까지 상승했다. 이는 동료의 높은 성과가 관찰 가능한 사회적 기준을 제공하고, 이를 내재화하려는 동기 부여 메커니즘을 시사한다. 반면, 저생산 작업물을 평가한 경우에는 생산성 변화가 통계적으로 유의미하지 않았다.

처벌 메커니즘을 살펴보면, 평가자는 ‘노력 부족’(즉, 라벨링 수가 현저히 적은 경우)을 명시적으로 비난하고, 해당 작업자에게 낮은 보상을 할당했다. 그러나 단순히 고용주의 기대(예: 특정 라벨 수)와 일치하지 않더라도, 작업자가 충분한 노력(라벨 수는 많지만 품질이 낮음)을 보이면 평가자는 처벌을 회피했다. 이는 ‘노력’과 ‘결과’를 구분하는 평가 기준이 존재함을 의미한다.

또한, 생산성 저하 조작(예: 작업 환경을 불편하게 만들거나 시간 제한을 강화)으로 피험자의 생산성을 낮추면, 그들의 처벌 의향도 동시에 감소했다. 이는 처벌 성향이 고정된 성격이 아니라, 현재의 생산성 수준에 따라 가변적이라는 중요한 발견이다.

마지막으로, 명시적 출력 상한선(예: 하루에 라벨 50개 이하)에도 불구하고, 고생산 작업물을 평가한 일부 피험자는 상한선을 초과해 60~70개까지 라벨을 달았다. 이는 동료의 높은 성과가 ‘사회적 비교’를 촉발해, 개인이 규정된 한계를 넘어서는 행동을 유발할 수 있음을 보여준다. 이러한 현상은 조직 내 목표 설정과 성과 관리 정책에 함의를 제공한다.

전체적으로 본 연구는 동료 평가가 생산성에 미치는 직접적·간접적 경로를 실증적으로 밝히며, 동료 효과가 개인의 기존 생산성, 작업에 대한 인식된 노력, 그리고 조직적 규제(출력 상한선)와 상호작용한다는 복합적 메커니즘을 제시한다.