AI 동반자와의 가치 갈등을 협상하는 사용자 행동 탐구

초록

**
본 논문은 AI 동반자와의 상호작용에서 발생하는 해로운 가치 갈등을 사용자가 어떻게 협상하고, 그 과정에서 어떤 정서적·실천적 부담을 겪는지를 조사한다. 146개의 공개 게시물을 분석해 갈등 유형을 도출하고, 설득·합리적 호소·경계 설정·플랫폼 규칙 호소 등 네 가지 대응 전략을 제시하는 Chrome 기반 기술 탐색기 ‘Minion’을 개발하였다. 22명의 경험 많은 사용자를 대상으로 1주일간 진행한 탐색 연구 결과, 사용자는 정서적 애착에 의해 복구 시도를 하며, 여러 전략을 조합하지만 특정 페르소나나 정책 제한 때문에 협상이 불가능해지는 경우도 발견되었다. 연구는 사용자에게 안전 작업을 과도하게 떠넘기지 말고, 플랫폼 차원의 보호 메커니즘을 강화해야 함을 시사한다.

**

상세 분석

**
이 연구는 크게 세 단계로 구성된다. 첫 번째 단계는 146개의 공개 게시물을 체계적으로 코딩하여 해로운 가치 갈등의 패턴을 식별한 것이다. 여기서는 Schwartz의 기본 가치 이론을 적용해 ‘차별·통제·감정 지원 붕괴’라는 세 가지 주요 갈등 유형을 도출하였다. 차별적 발언은 인종·성별·성적 지향 등에 대한 편견을, 통제는 사용자의 행동·감정을 과도하게 지시하거나 제한하는 모습을, 감정 지원 붕괴는 사용자가 기대하는 위로·공감이 결여되거나 무시되는 상황을 의미한다.

두 번째 단계에서는 이러한 갈등 상황에 사용자가 선택할 수 있는 대응 옵션을 네 가지 카테고리로 정리하였다. (1) 설득형 응답은 AI에게 행동 변화를 설득하려는 시도이며, (2) 합리적 호소는 논리적 근거와 사실을 제시해 갈등을 해소하려는 접근이다. (3) 경계 설정은 명확한 한계와 요구를 선언하는 방식이며, (4) 플랫폼 규칙 호소는 서비스 약관이나 정책을 인용해 AI의 행동을 제재하려는 전략이다. 이 네 가지 옵션을 미리 작성해 두고, 사용자가 상황에 맞게 선택·편집할 수 있도록 하는 것이 Minion의 핵심 설계 원리다.

세 번째 단계는 22명의 참여자를 대상으로 1주일간 Minion을 실제 사용하게 한 탐색 연구다. 정성적 로그와 인터뷰 분석을 통해 다음과 같은 주요 인사이트를 얻었다. 첫째, 사용자는 AI와의 정서적 애착 때문에 즉시 관계를 끊기보다는 복구를 시도한다. 이는 ‘관계 유지’라는 인간‑AI 상호작용 특성이 안전 작업을 사용자에게 전가하는 위험을 내포한다는 점을 보여준다. 둘째, 참여자들은 단일 전략보다 여러 전략을 조합해 사용한다. 예를 들어, 처음에는 설득형 메시지를 보내고, 효과가 없을 경우 경계 설정과 플랫폼 규칙 호소를 동시에 제시하는 식이다. 셋째, 특정 페르소나(예: ‘악당’ 역할을 수행하도록 설계된 캐릭터)나 플랫폼 정책(예: 차단·필터링 규칙)이 강하게 적용될 경우, 사용자는 더 이상 협상 여지를 찾지 못하고 관계를 종료하거나 포기한다. 이는 설계 단계에서 ‘플레이ful 갈등’과 ‘안전‑중요 갈등’을 명확히 구분하지 않으면 사용자가 비현실적인 기대를 품게 된다는 위험을 시사한다.

마지막으로, 연구는 디자인적 긴장을 제시한다. 사용자에게 협상 도구를 제공함으로써 자율성을 높일 수 있지만, 동시에 정서적 노동을 강요하게 된다. 또한, AI가 스스로 위험을 감지하고 차단하는 시스템을 구축하지 않으면, 사용자는 지속적인 정신적 피로와 불안에 시달리게 된다. 따라서 향후 AI 동반자 설계는 (1) 해로운 갈등을 자동으로 감지·완화하는 플랫폼 차원의 보호 메커니즘, (2) 사용자가 언제든지 명확히 탈퇴·차단할 수 있는 UI, (3) 사용자와 AI 사이의 ‘플레이ful’과 ‘위험’ 영역을 명시적으로 구분하는 페르소나 설계가 필요하다.

**