AI법에서 자동화 편향 규제: 인간 감시의 탈편향 과제와 법적 함의

초록

본 논문은 EU 인공지능법(AIA)에서 고위험 AI 시스템에 대한 인간 감시 의무와 함께 자동화 편향(Automation Bias, AB)을 명시적으로 언급한 점을 분석한다. AB 인식 의무가 제공자와 배포자 사이에 비대칭적인 책임을 부과하고, 설계·맥락적 요인을 충분히 다루지 못한다는 비판을 제시한다. 또한, AB 자체를 위험으로 규제할 필요성과 조화된 표준에 최신 행동과학 연구를 반영해야 함을 주장한다.

상세 분석

논문은 먼저 AIA 제14조(4)(b)에서 “자동화 편향”이라는 심리학적 개념을 법문에 삽입한 비정형성을 짚는다. 이는 기존 EU 규제에서 거의 찾아볼 수 없는 사례로, 입법 과정에서 구체적 근거가 제시되지 않았음에도 불구하고 의도적으로 선택된 점이 주목된다. 저자는 AB가 인간의 과도한 신뢰와 주의력 결핍에서 비롯된 다요인 현상임을 강조하며, 설계 단계에서의 ‘자동화 친화적’ 인터페이스, 작업 환경의 복잡성, 그리고 사용자의 전문성 부족이 복합적으로 작용한다는 심리·공학 연구를 인용한다.

AIA는 고위험 AI에 대해 제공자와 운영자 모두에게 의무를 부과하지만, AB 인식 의무는 제공자에게만 명시적으로 전가된다. 이는 실제 AB가 배포자의 조직 문화·절차·교육 수준에 크게 좌우된다는 점과 상충한다. 저자는 이를 “책임 비대칭”이라 규정하고, 제공자는 기술적 설명서와 경고만 제공해도 법적 책임을 면할 수 있다는 위험을 지적한다.

법적 집행 측면에서는 AB 발생 여부를 객관적으로 입증하기 어려운 점이 핵심 난관이다. 인간 판단의 ‘정답’ 자체가 불명확한 상황에서, 감시자가 AB에 빠졌는지를 판단하려면 사후 분석과 비교 기준이 필요하지만, 현재 AIA는 이를 위한 구체적 절차를 제시하지 않는다. 따라서 ‘인식’이라는 추상적 의무는 실효성 확보에 한계가 있다.

마지막으로 저자는 AB를 별도의 위험 요소로 규정하고, 조화된 표준에 최신 행동과학 연구를 통합함으로써 제공자와 배포자 모두에게 구체적 설계·훈련·평가 요구를 부과할 것을 제안한다. 이는 AI 시스템의 설계 단계에서 ‘자동화 편향 방지’를 목표로 하는 ‘인간‑AI 협업 설계(Human‑AI Collaboration Design)’ 원칙을 도입하는 방향과 일맥상통하다.