신뢰를 감시로 사용자 신뢰와 AI 개발자 행동의 진화 동역학

본 논문은 AI 시스템의 안전성 확보를 위한 거버넌스 연구에 새로운 시각을 제시한다. 기존 연구들은 주로 개발자의 안전 의사결정과 규제기관의 인센티브 구조를 일회성 게임 형태로 모델링했으며, 사용자의 신뢰를 단순히 ‘채택 여부’로 축소했다. 그러나 실제 AI 활용 환경에서는 사용자가 동일한 개발자·시스템과 다수의 라운드에 걸쳐 상호작용하면서 신뢰를 형성·조정한다는 점을 간과하고 있다. 이를 보완하기 위해 저자들은 “신뢰 = 감시 감소”라는 정의를 채택한다. 감시는 사용자가 AI 출력이나 개발자의 행동을 검증하는 행위이며, 이는 비용 ϵ을 수반한다. 사용자는 감시 빈도와 채택 결정을 조절하는 다섯 가지 전략을 갖는다. AllA는 무조건 채택하고 감시하지 않으며, AllN은 절대 채택하지 않는다. TFT는 매 라운드 감시하면서 이전 협력·불협력 결과에 따라 채택을 바꾸는 전형적인 보복 전략이다. TUA와 DtG는 각각 ‘협력 연속 관찰 후 신뢰 상태 전이’와 ‘불협력 연속 관찰 후 불신 상태 전이’를 구현하며, 전이 후에는 감시 확률(p_T, p_D)로 감시 빈도를 낮춘다. 개발자 측면에서는 두 가지 행동 옵션이 있다. 안전한 AI(C)를 제공하면 개발자는 추가 비용 c를 부담하지만, 사용자에게서 얻는 이익 b_c를 그대로 확보한다. 반면 불안전 AI(D)를 제공하면 비용 c를 절감하지만, 규제나 사회적 비난에 의해 처벌 v가 부과될 위험이 있다. 위험 계수 µ는 불안전 AI 사용 시 사용자가 얻는 실질적 이득을 조정한다; µ가 0 이하이면 사용자는 손해를 보게 된다. 이러한 설정을 바탕으로 저자들은 두 개의 인구(사용자와 개발자) 사이의 반복 비대칭 게임을 구성하고, 진화 게임 이론을 적용했다. 무한 인구에서는 복제자 방정식을 통해 전략 비율의 연속적 변화를 분석했으며, 적합도 차이 Δf를 명시적으로 도출했다. 유한 인구에서는 Moran 과정 기반 확률적 전이 모델을 사용해 전략 고정 확률과 평균 체류 시간을 계산했다. 또한, 강화학습(특히 Q‑learning) 에이전트를 도입해 각 집단이 자체 보상 신호에 따라 전략을 학습하도록 했다. 감시 비용이 0인 경우, Q‑learning 에이전트는 복제자 역학과 동일한 균형에 수렴했으며, 감시 비용이 증가하면 에이전트는 감시를 최소화하려는 경향을 보이면서도 안전 전략을 유지하려는 경향이 강화되었다. 이는 실제 인간 사용자와 AI 개발자가 비용-보상 구조에 따라 학습하고 적응한다는 점을 시뮬레이션적으로 입증한다. 시뮬레이션 결과는 세 가지 주요 장기 균형을 확인한다. 첫 번째는 “무채택·불안전” 레짐으로, 감시 비용이 높고 처벌 v가 낮아 사용자가 채택을 포기하고 개발자는 불안전 AI를 지속한다. 두 번째는 “불안전·고채택” 레짐으로, 감시 비용이 중간 수준이지만 처벌이 약해 개발자는 불안전 AI를 제공하고, 사용자는 감시를 최소화하면서도 채택을 유지한다. 세 번째는 “안전·고채택” 레짐으로, 감시 비용이 낮고 처벌 v가 안전 비용 c보다 크게 설정될 때 나타난다. 이 경우 사용자는 일정 수준의 감시를 유지하면서 안전 AI를 채택하고, 개발자는 안전 전략을 선택할 인센티브를 갖는다. 핵심 정책적 시사점은 다음과 같다. (1) 감시 비용을 낮추는 투명성·감시 메커니즘(예: 자동 로그, 외부 감사, 표준화된 검증 도구) 구축이 필수적이다. 낮은 감시 비용은 사용자가 신뢰를 완전히 포기하지 않게 하며, 개발자는 감시를 피하기 위해 안전한 AI를 제공하도록 압력을 받는다. (2) 불안전 AI에 대한 의미 있는 제재(v)가 안전 비용(c)보다 커야 개발자가 안전 전략을 선택한다. 제재가 약하면 비용 절감 동기가 강해져 불안전 AI가 시장에 퍼진다. (3) 규제만으로는 충분하지 않으며, 규제와 투명성·감시 인프라가 상호 보완적으로 작동해야 한다. 감시 비용이 높지만 제재가 강한 경우에도 사용자는 채택을 포기할 위험이 있다. 반대로 감시 비용이 낮지만 제재가 약하면 개발자는 위험을 감수하게 된다. 결론적으로, 이 연구는 사용자 신뢰를 감시 감소라는 행동적 메커니즘으로 정량화하고, 감시 비용과 제재 강도라는 두 핵심 파라미터가 AI 거버넌스의 장기 결과를 결정한다는 점을 이론적·시뮬레이션적으로 입증한다. 정책 입안자는 투명성 강화, 저비용 감시 인프라 구축, 그리고 실효성 있는 제재 체계 설계를 통해 안전하고 널리 채택되는 AI 생태계를 조성할 수 있다.