알고리즘 불확실성이 전문가 판단을 흔들까? 대학 입학 실험 결과

초록

선택적 대학 입학 과정에서 두 개의 동등한 예측 모델이 제시하는 점수가 무작위로 바뀌도록 실험했다. 19,545명의 지원자를 대상으로 한 결과, 더 높은 점수를 보여줘도 입학 확률이 유의미하게 상승하지 않았다. 즉, 전문가인 입학 담당자는 알고리즘 점수의 변동에 크게 의존하지 않으며, 전문적 재량과 조직적 맥락이 결정에 큰 영향을 미친다.

상세 분석

본 논문은 ‘알고리즘 의존성(algorithmic reliance)’이라는 개념을 정의하고, 이를 실증적으로 측정하기 위해 예측 다중성(predictive multiplicity)을 활용한 현장 무작위 실험을 설계했다. 두 모델은 동일한 피처와 파이프라인을 사용했지만, 학습에 사용된 과거 데이터가 약간 달라서 개별 지원자에 대해 서로 다른 점수(1~10 디시일) 를 부여한다. 두 모델의 전체 정확도는 거의 차이가 없으며, 이는 모델 선택이 통계적으로 정당화될 수 있음을 의미한다. 실험에서는 각 지원서에 대해 어느 모델의 점수를 보여줄지 50:50 비율로 무작위 배정했으며, 이는 윤리적으로도 문제가 되지 않는다(어떠한 지원자도 고의적으로 불리하게 만들지 않음).

인과 추정량은 AR(a_H, a_L)=E