AI 실패의 악순환: 과신된 AI와 과소평가된 노동자 전문성

초록

이 논문은 사회적 가치가 낮게 평가되는 ‘여성화된 노동’(예: 사회복지, 교육, 돌봄) 분야에서 AI 시스템이 반복적으로 실패하는 근본 원인을 분석합니다. 노동자의 복잡한 전문성이 체계적으로 과소평가되고, AI의 능력은 과대평가되는 ‘AI 실패 루프’ 개념을 제시하며, 이 악순환이 AI의 설계, 평가, 운용 전반에 걸쳐 어떻게 고착되는지 사례 연구를 통해 보여줍니다.

상세 분석

이 논문의 핵심 기술적 분석은 ‘AI 실패 루프(AI Failure Loops)‘라는 프레임워크를 제안하는 데 있습니다. 이는 단순한 기술적 결함이 아닌, 사회-기술적(socio-technical) 상호작용에 의해 유지되는 악순환 구조를 지적합니다. 루프는 ‘AI 능력에 대한 과신’과 ‘노동자 전문성에 대한 과소평가’라는 두 동력이 결합하여 발동됩니다.

논문은 이 루프가 구체화되는 여섯 가지 상호연결된 실패 모드를 제시합니다: 1) 전문성 오해: AI 도구 설계 동기가 노동자의 실제 전문성(특히 상황적·암묵적 지식)을 오해하는 데서 출발함. 2) 관리적 요구 우선: 조직의 효율성 목표가 노동자의 실제 업무 필요를 압도함. 3) 설계 배제: 노동자가 설계 과정에서 소외되거나 참여하더라도 그 의견이 경시됨. 4) 부적절한 평가: AI 성능 측정이 노동자의 실제 업무 맥락과 괴리된 기준(예: 불완전한 ‘정답’ 데이터)으로 진행됨. 5) 강제 사용: 노동자가 도구 사용을 거부할 수 있는 권한과 자율성이 부족함. 6) 부당한 비난: AI 시스템의 결함이나 부작용에 대한 책임이 오히려 노동자에게 전가됨.

이 분석의 중요한 통찰은, 이러한 실패가 특히 ‘여성화된 노동’ 분야에서 심화된다는 점입니다. 돌봄, 교육, 사회복지와 같은 정서적·관계적 노동은 역사적으로 ‘사랑의 실천’으로 간주되어 경제적·사회적 가치 평가에서 체계적으로 낮은 위치를 점해왔습니다. 논문은 AI 개발자와 조직 관리자가 이러한 사회적 편견을 내재화한 채, 노동자의 업무를 지나치게 단순화·기계화 가능한 것으로 오판한다고 주장합니다. 결과적으로 배치된 AI는 노동자의 숨은 통합 노동(integration labor)을 증가시키고, 전문성의 가시성을 더욱 떨어뜨리며, 결국 초기의 편견을 검증하는 자기충족적 예언의 고리를 완성합니다. 이는 포괄적인 참여적 설계나 기술 윤리 이상의, 노동 가치 평가에 대한 근본적인 사회적 인식 전환을 요구하는 문제입니다.