대화형 언어 모델 과잉 의존 행동 지표

초록

본 연구는 77명의 참가자를 대상으로 대화형 LLM과의 협업 작업 중 삽입된 허위 정보를 얼마나 받아들이는지를 측정하고, 사용자의 마우스·키보드 행동 로그를 클러스터링해 과잉 의존과 연관된 다섯 가지 행동 양식을 도출하였다. 낮은 과잉 의존은 세밀한 과제 이해와 정교한 탐색으로, 높은 과잉 의존은 빈번한 복사‑붙여넣기, 초기 이해 생략, 반복적인 LLM 참조, 거친 화면 탐색, 망설임에도 불구하고 허위 정보를 수용하는 패턴으로 나타났다.

상세 분석

이 논문은 과잉 의존(overreliance)을 “사용자가 잘못된 LLM 제안을 받아들인다”는 행동적 정의에 기반해, 전통적인 결과‑중심 측정이 놓치는 과정‑중심 신호를 탐색한다는 점에서 학술적 의의가 크다. 77명의 참가자를 세 가지 실제 업무 시나리오(정보 검색, 글쓰기, 계획 수립 등)에서 LLM이 고의로 삽입한 설득력 있는 허위 정보를 마주하게 함으로써, 과잉 의존을 정량화하였다. 행동 데이터는 클릭, 스크롤, 키 입력 등 저레벨 이벤트를 시간 순서대로 기록했으며, 이를 최신 시퀀스‑인식 클러스터링 알고리즘(예: 시퀀스‑투‑시퀀스 임베딩 + DBSCAN)에 적용해 행동 패턴을 추출했다.

클러스터링 결과는 다섯 개의 대표적 행동 군을 제시한다.

1. 세밀한 과제 이해 – 초기 화면을 꼼꼼히 읽고, 질문을 구체화한 뒤 LLM 답변을 검증한다.
2. 정교한 탐색 – 마우스 이동 거리와 스크롤 깊이가 짧고, 텍스트 선택·편집이 빈번하다.
3. 빈번한 복사‑붙여넣기 – 전체 답변을 그대로 복사해 작업에 삽입, 편집 없이 사용한다.
4. 반복적 LLM 참조 – 초기 이해를 건너뛰고, 중간에 의심이 생겨도 추가 질문을 통해 다시 LLM에 의존한다.
5. 거친 화면 탐색·허위 수용 – 시각적으로 눈에 띄는 영역만 클릭하고, 망설임(키 입력 지연)에도 불구하고 허위 정보를 그대로 채택한다.

인지 이론과 연결하면, 1·2번 군은 System 2(느린, 분석적) 사고와 일치하고, 3·4·5번 군은 System 1(빠른, 직관적) 사고에 치우친 것으로 해석된다. 또한, 참가자 설문에서 보고된 전략과 행동 군이 높은 상관성을 보이며, 행동 로그만으로도 과잉 의존 수준을 예측할 수 있음을 실증한다.

디자인적 함의는 두 가지로 정리된다. 첫째, 실시간 행동 감지를 통해 “과잉 의존 위험 신호”가 포착되면 UI에 경고·검증 프롬프트를 삽입하거나, LLM의 답변을 자동으로 요약·검증하도록 하는 적응형 완화 메커니즘을 설계할 수 있다. 둘째, 사용자가 초기 과제 이해를 건너뛰지 않도록 작업 흐름에 강제적 읽기·요약 단계(예: 하이라이트·노트 기능)를 도입하면 과잉 의존을 감소시킬 가능성이 있다.

전체적으로 이 연구는 행동 로그 기반의 과정‑중심 과잉 의존 측정 프레임워크를 제시함으로써, 향후 실시간 감지·완화 시스템 개발에 기초 데이터를 제공한다는 점에서 HCI·AI 안전 분야에 중요한 기여를 한다.