학생을 실험 대상으로 삼는 비용과 대안

초록

본 논문은 소프트웨어 공학 실험에서 학생과 전문가를 피험자로 사용할 때 발생하는 장단점을 분석하고, 학생 피험자 사용 시 발생할 수 있는 편향을 최소화하기 위한 구체적인 설계·분석 방안을 제시한다. 특히 피험자의 기술 수준이 실험 결과에 미치는 조절 효과를 강조하며, 전문가 활용 시 나타나는 비용·접근성 문제도 함께 논의한다.

상세 분석

Falessi et al.(2017)이 제기한 “학생을 사용하면 논문이 거절된다”는 인식은 실제 연구 커뮤니티에서 상당히 흔한 편견이다. 저자들은 이 편견이 과학적 근거보다는 출판 문화에 기인한다는 점을 지적한다. 핵심 논지는 ‘학생과 전문가 사이의 기술 분포 차이’가 실험 결과의 외적 타당성에 미치는 영향이다. 기존 연구들에서 기술 수준이 높은 피험자는 새로운 도구나 방법론에 대한 학습 곡선이 완만하고, 복잡한 작업을 수행할 때 오류율이 낮은 경향을 보였다. 반면, 학생은 평균적으로 낮은 혹은 중간 수준의 기술을 보유하므로, 동일한 실험 설계라도 성능 차이가 과도하게 확대되거나 축소될 위험이 있다. 이는 특히 ‘기술 수준이 조절 변수(moderator)’로 작용할 때 두드러진다.

저자들은 이러한 위험을 완화하기 위한 구체적 방안을 네 가지 축으로 정리한다. 첫째, 사전 테스트(pre‑test)를 통해 피험자의 기본 능력을 정량화하고, 이를 기반으로 그룹을 매칭하거나 공변량으로 포함한다. 둘째, 실험 과제 자체를 난이도 별로 계층화하여, 저숙련자와 고숙련자 모두가 의미 있는 차이를 보일 수 있는 수준을 선택한다. 셋째, 결과 해석 시 ‘기술 수준 × 처리 효과’ 상호작용을 명시적으로 모델링하고, 필요시 다층 모델링(multilevel modeling)이나 구조 방정식 모델링(SEM)을 활용한다. 넷째, 연구 보고서에 피험자 프로필을 상세히 기술하고, 결과 일반화 범위를 ‘동일한 기술 수준을 가진 실무자’ 혹은 ‘학생 집단’으로 명확히 구분한다.

전문가 활용에 대한 반론도 다룬다. 전문가를 모집하는 비용이 높고, 기업 협력에 따른 이해관계 충돌 위험이 존재한다는 점은 사실이다. 그러나 전문가 집단에서도 기술 수준의 이질성이 존재하므로, 무조건 ‘전문가 = 고숙련’이라고 가정하는 것은 또 다른 편향을 초래한다. 따라서 전문가를 사용할 경우에도 사전 능력 평가와 그룹 매칭이 필요하다.

전체적으로 저자들은 ‘학생을 배제하는 것이 아니라, 학생 피험자를 과학적으로 다루는 방법을 체계화하는 것’이 핵심이라고 주장한다. 이는 실험 설계 단계에서부터 데이터 분석, 결과 보고에 이르기까지 전 과정에 걸친 품질 관리와 투명성을 요구한다.