반투명 자율주행 차량 속 사용자 인식과 행동

초록

본 연구는 레벨 2‑3 반자율주행 차량을 운전하는 16명의 미국 운전자를 인터뷰하여, 운전자가 시스템의 불투명성에 직면했을 때 형성하는 ‘민속 이론’과 그에 따른 대처 전략, 그리고 현재 설계가 운전자를 데이터 제공자에 머무르게 하는 구조적 문제를 분석한다. 운전자는 차량을 ‘보는’, ‘망설이는’, ‘압도당하는’ 등 인간화된 메타포로 설명하지만, 검증 가능한 정보가 부족해 신뢰와 책임감이 약화된다. 논문은 이러한 상황을 극복하기 위해 투명성·참여형 알고리즘 거버넌스 프레임워크를 제안한다.

상세 분석

이 논문은 알고리즘 불투명성(black‑box)과 인간‑AI 상호작용을 비판적 데이터 연구 관점에서 재조명한다. 먼저 Burrell(2016)이 제시한 ‘의도적 비밀’, ‘기술적 무지’, ‘본질적 불가설명성’ 세 가지 불투명성 유형이 자율주행 차량에 모두 적용됨을 보여준다. 제조사는 특허와 영업 비밀을 이유로 핵심 알고리즘을 공개하지 않으며, 일반 운전자는 딥러닝 모델의 내부 작동 원리를 이해할 교육적 배경이 부족하고, 모델 자체가 고차원 비선형 구조라 인간이 직접 해석하기 어렵다. 이러한 복합적 불투명성은 안전‑중대한 상황에서 운전자가 시스템 행동을 예측·통제하기 어렵게 만들고, 사고 발생 시 책임소재를 흐리게 만든다.

연구는 16명의 인터뷰 데이터를 바탕으로 운전자가 형성하는 ‘민속 이론’을 네 가지 주요 메타포로 구분한다. 첫째, ‘시각’ 메타포는 차량이 주변을 ‘보는’ 능력을 인간의 눈에 비유한다; 둘째, ‘망설임’ 메타포는 시스템이 판단을 미루는 상황을 인간이 주저하는 모습으로 해석한다; 셋째, ‘압도’ 메타포는 복잡한 교차로나 악천후에서 시스템이 ‘과부하’된 듯 행동한다는 인식이다; 넷째, ‘의도’ 메타포는 차량이 ‘결정’을 내리는 주체적 존재로 인식한다. 이러한 메타포는 운전자가 경험적 데이터를 재구성해 의미를 부여하는 과정이며, 실제로는 시스템 내부 로직과는 무관한 추론이다.

운전자는 이러한 민속 이론을 검증할 수단이 없기 때문에, ‘전략적 회피(예: 수동 제어 복귀, 속도 감소)’, ‘보조 피드백 요구(음성 안내, 시각적 경고)’ 등을 통해 불확실성을 관리한다. 그러나 현재 차량 인터페이스는 피드백을 일방적으로 제공하고, 운전자가 직접 알고리즘 수정이나 데이터 제공에 참여할 수 있는 통로를 거의 제공하지 않는다. 결과적으로 운전자는 ‘데이터 제공자’ 역할에 머물며, 자신의 현장 지식이 시스템 개선에 반영되지 않는다.

논문은 이러한 구조적 문제를 해결하기 위해 ‘참여형 알고리즘 거버넌스’를 제안한다. 구체적으로는 (1) 실시간 의사결정 로그와 설명 가능한 시각화 제공, (2) 운전자가 경험한 ‘오류 사례’를 체계적으로 수집·분류할 수 있는 피드백 포털, (3) 제조사와 규제기관이 공동으로 운영하는 사용자·전문가 워크숍을 통한 정책·설계 공동 개발, (4) 법적·윤리적 책임을 명확히 하는 책임 매트릭스 도입을 제시한다. 이러한 메커니즘은 운전자의 인지적 부담을 줄이고, 시스템 투명성을 높이며, 궁극적으로 신뢰와 안전성을 강화한다.