전체 세션 분석을 위한 WHOSE 도구

초록

WHOSE는 실사용자 로그와 실제 IR 시스템을 연동해 전체 세션을 분석할 수 있는 프레임워크이다. 로그 수집, 매핑, 사용자 정의 액션·필터 정의, GUI 기반 탐색 기능을 제공해 다양한 도메인·환경에서 재현 가능한 평가를 가능하게 한다.

상세 요약

본 논문은 인터랙티브 정보 검색(IIR) 분야에서 실사용자 행동을 전체 세션 단위로 정량·정성 분석할 수 있는 도구, WHOSE(Whole‑Session Evaluation)를 제안한다. 기존 IIR 평가 도구는 통제된 실험 환경에 국한되거나, 단일 세션에만 초점을 맞추는 경우가 많았다. WHOSE는 두 가지 주요 모듈로 구성된다. 첫 번째는 로그 수집 모듈로, 실제 IR 시스템에 최소한의 인터페이스(API 혹은 플러그인)만 추가하면 사용자의 검색어 입력, 결과 클릭, 페이지 이동, 북마크, 피드백 등 다양한 행동을 실시간으로 기록한다. 이때 로그 포맷은 시스템 독립적인 JSON 스키마를 따르며, 확장성을 위해 사용자 정의 필드와 타임스탬프를 포함한다. 두 번째는 분석·시각화 모듈이다. 수집된 로그를 사전 정의된 매핑 파일에 따라 의미론적 액션(예: “검색”, “선택”, “수정”)으로 변환하고, 세션 ID와 사용자 ID를 기준으로 세션 경계를 자동 식별한다. 연구자는 각 IR 시스템마다 특화된 액션·필터를 선언할 수 있어, 예를 들어 학술 검색엔진에서는 “인용추가”를, 전자상거래에서는 “장바구니 추가”를 별도 액션으로 다룰 수 있다. GUI는 대시보드 형태로 전체 세션 흐름, 행동 빈도 히스토그램, 전이 행렬 등을 제공하며, 사용자는 드릴다운을 통해 개별 세션의 상세 로그와 타임라인을 확인한다. 또한, 기존 로그 데이터베이스에 매핑 파일만 적용하면 재사용이 가능하므로, 과거 실험 데이터와 새로운 데이터 간의 비교 연구가 용이하다. 논문은 WHOSE를 두 개의 실제 IR 시스템(학술 검색과 전자상거래)에서 적용한 사례를 제시한다. 결과는 로그 수집 오버헤드가 2 % 이하로 낮으며, 사용자 행동 패턴(예: 검색‑클릭‑재검색 루프)의 시각적 탐색이 기존 수작업 분석 대비 5배 이상 효율적임을 보여준다. 이러한 설계는 IIR 연구자에게 재현 가능한 실험 환경을 제공하고, 산업 현장에서는 사용자 경험(UX) 개선을 위한 데이터 기반 의사결정을 지원한다.