예측 기반 개입의 효과를 인간 판단자와 함께 정확히 평가하기

초록

**
본 논문은 자동화 의사결정 시스템(ADS)의 예측 보조가 인간 판단에 미치는 영향을 실험 설계 단계에서 발생하는 인지 편향과 상호 의존성으로 인해 왜곡될 수 있음을 밝힌다. 다양한 인간 행동 모델을 정형화하고, 이들이 기존 인과 추정 가정(SUTVA 등)을 위배함을 보이며, 실험 설계 선택이 평균 치료 효과 추정에 미치는 영향을 시뮬레이션으로 입증한다.

**

상세 분석

**
이 연구는 ADS가 인간 의사결정자를 보조하는 상황에서 “예측 기반 개입”의 인과 효과를 측정하려는 기존 실험 설계가 갖는 근본적인 한계를 체계적으로 분석한다. 먼저 저자들은 인간 판단자가 모델의 예측을 어떻게 받아들이는지를 설명하는 여러 행동 모델—예컨대, 확증 편향, 앵커링 효과, 그리고 정보 과부하에 따른 무시 경향—을 수학적으로 공식화한다. 각 모델은 개별 피험자 간에 의사결정 결과가 서로 의존하게 만들며, 이는 인과 추정의 핵심 전제인 SUTVA(Stable Unit Treatment Value Assumption)를 위배한다는 점을 강조한다.

논문은 실험 설계 차원에서 세 가지 주요 선택지를 제시한다. (1) 치료 할당 변수 Z(예: 알고리즘이 적용되는지 여부), (2) 모델이 긍정 예측을 내는 비율 P(Ŷ=1) (임계값 설정에 따른), (3) 모델의 정확도 P(Ŷ=Y) (모델 선택에 따른). 저자들은 이 세 변수 각각이 인간 판단자의 “응답성”(judge responsiveness)에 미치는 영향을 정량화한다. 특히, Z가 무작위화된다고 가정하더라도, 인간이 모델 예측을 보는 방식이 Z와 상관관계를 갖게 되면, 실제로는 비무작위화된 처치 효과가 발생한다.

인과 그래프와 구조적 방정식 모델을 이용해, 잠재 변수 Ji(인지 편향)와 εi(개인적 잡음)를 도입함으로써 인간‑알고리즘 상호작용을 명시적으로 모델링한다. 이 구조는 기존의 “케이스‑인디펜던트” 모델과 달리, 동일 케이스에 대한 여러 인간 판단이 서로 영향을 주고받을 수 있음을 보여준다. 저자들은 세 가지 인지 편향(과신, 보수성, 정보 회피)을 구체적인 라티런트 변수로 구현하고, 각각이 실험 설계 선택에 따라 어떻게 활성화되는지를 도표(그림 2)와 표(표 1)로 정리한다.

실증 부분에서는 Imai et al. (2020)의 랜덤화 대조 시험 데이터를 재현해, 실험 설계 변수들을 인위적으로 변형한다. 예를 들어, 모델의 긍정 예측 비율을 30 %에서 70 %로 바꾸면, 인간 판단자의 응답성 변화가 평균 치료 효과 추정치에 ±0.12 정도의 편향을 초래한다는 결과를 제시한다. 이러한 시뮬레이션은 “실험 설계 선택이 치료 효과 추정에 미치는 영향”을 정량적으로 입증한다.

결론적으로, 논문은 현재 ADS 효과 평가에 널리 사용되는 무작위화 실험이 인간 판단자의 인지 메커니즘을 무시할 경우, 잘못된 정책 결정을 초래할 위험이 있음을 경고한다. 저자들은 인과 추정 시 SUTVA 위배를 감지하고 보정하기 위한 방법론적 제안을 제시하며, 향후 연구에서는 실제 현장 실험에서 라티런트 편향 변수를 직접 측정하거나, 베이지안 계층 모델을 활용해 치료 효과의 불확실성을 더 정교히 추정할 것을 권고한다.

**