컴퓨터 사용 에이전트 UX 설계 공간 매핑: 사용자 경험을 위한 새로운 지도

초록

본 논문은 LLM 기반 컴퓨터 사용 에이전트의 사용자 경험(UX) 설계 요소를 체계화한다. 9개의 기존 에이전트를 분석하고 UX·AI 실무자 8명과 인터뷰한 뒤, ‘사용자 질의’, ‘행동 설명성’, ‘사용자 제어’, ‘정신 모델’ 네 가지 카테고리와 세부 하위 항목을 포함한 택소노미를 도출한다. 이후 20명을 대상으로 Wizard‑of‑Oz 실험을 수행해 택소노미의 타당성을 검증하고, 위험·오류 상황에서 사용자가 요구하는 투명성·중재·피드백 등을 밝혀낸다. 결과는 에이전트 설계 시 고려해야 할 UX 요소와 설계 선택 간의 관계를 제시한다.

상세 분석

이 연구는 두 단계의 형식적 조사 방식을 통해 컴퓨터 사용 에이전트의 UX 설계 공간을 정량·정성적으로 조명한다. 첫 번째 단계에서는 2024‑2025년에 공개된 9개의 최신 에이전트를 직접 사용하고 시연 영상을 분석함으로써, 현재 상용 시스템이 제공하는 프롬프트 형식, 실행 피드백, 오류 복구 메커니즘 등을 관찰했다. 여기서 도출된 초기 테마는 ‘사용자 질의’, ‘행동 설명성’, ‘사용자 제어’, ‘작업 종료 표시’, ‘작업 미리보기’였으며, 각 테마는 구체적인 디자인 피처(예: 텍스트·음성 입력 지원, 단계별 진행 바, 실행 전 시뮬레이션 화면 등)와 연결되었다.

두 번째 단계에서는 UX·AI 분야 실무자 8명을 대상으로 심층 인터뷰를 진행해 초기 테마의 적합성을 검증하고, 누락된 요소를 보완하였다. 인터뷰 결과, ‘정신 모델’이라는 새로운 카테고리가 필요함이 밝혀졌. 이는 사용자가 에이전트의 내부 의사결정 과정(예: 계획 생성, UI 요소 탐색)을 어떻게 인지하고, 이를 기반으로 신뢰를 형성하는지를 다룬다. 또한 ‘사용자 제어’는 단순한 일시정지·취소를 넘어, 실행 단계별 승인, 오류 시 재구성, 위험 작업에 대한 사전 승인 등 다층적 제어 권한을 포함한다는 점이 강조되었다.

Wizard‑of‑Oz 실험에서는 20명의 일반 사용자를 대상으로 웹 기반 에이전트를 시뮬레이션했다. 실험은 정상 수행, 오류 발생, 위험(예: 개인정보 삭제) 상황으로 구분했으며, 연구자는 실시간으로 사용자의 반응을 기록하고 추가 질문을 던졌다. 결과는 다음과 같다. 첫째, 사용자는 에이전트가 수행할 작업을 사전에 ‘미리 보기’하고, 예상 결과를 검증할 수 있기를 원한다. 둘째, 오류 상황에서는 에이전트가 자신의 실수를 명시적으로 설명하고, 복구 옵션을 제시해야 신뢰가 유지된다. 셋째, 위험 작업에서는 사용자가 최종 승인 전까지 ‘제어 권한’과 ‘투명한 설명’(예: 어떤 데이터가 접근되는지)을 요구한다. 이러한 요구는 택소노미의 각 카테고리와 직접 연결되며, 특히 ‘행동 설명성’과 ‘사용자 제어’가 상호 보완적으로 작용한다는 점이 확인되었다.

핵심 인사이트는 다음과 같다. (1) 사용자 질의는 단순 명령형에서 대화형, 멀티모달(텍스트·음성·이미지)까지 다양화될 필요가 있다. (2) 에이전트의 행동 설명은 단계별 로그, 시각적 하이라이트, 그리고 의도·전략에 대한 메타 설명을 포함해야 한다. (3) 제어 메커니즘은 ‘자동’, ‘반자동’, ‘수동’ 세 수준으로 구분해 사용자에게 선택권을 제공하고, 위험도에 따라 제어 수준을 동적으로 조정한다. (4) 정신 모델을 지원하기 위해서는 에이전트의 내부 플로우(인식‑탐색‑계획‑실행)를 시각화하거나, 사용자가 과거 상호작용을 조회·편집할 수 있는 인터페이스가 필요하다. (5) 작업 종료 표시와 작업 미리보기는 사용자가 작업 진행 상황을 파악하고, 필요 시 중단·수정할 수 있게 함으로써 전반적인 만족도와 안전성을 높인다.

이러한 분석을 통해 저자들은 UX 설계자가 에이전트 개발 초기 단계부터 ‘투명성·제어·피드백·정신 모델’ 네 축을 균형 있게 고려하도록 가이드라인을 제공한다. 또한, 위험·오류 상황에 대한 사용자 요구를 명시함으로써, 향후 에이전트의 신뢰성 평가 및 규제 설계에도 활용 가능한 실증적 근거를 제시한다.