SimGym: 실시간 브라우저 에이전트로 구현한 트래픽 기반 오프라인 A/B 테스트 혁신

초록

SimGym은 대규모 전자상거래 플랫폼에서 실제 클릭스트림을 기반으로 구매자 프로파일과 의도를 자동 생성하고, LLM 기반 에이전트를 실시간 브라우저에 배치해 기존 UI의 컨트롤과 트리트먼트 버전을 동시에 탐색한다. 에이전트의 Add‑to‑Cart(A2C) 전환율을 집계해 실제 인간 실험 결과와 Pearson 상관관계·정렬률을 비교함으로써, 수주가 걸리던 전통적 A/B 테스트를 1시간 이내의 오프라인 실험으로 대체할 수 있음을 입증한다.

상세 분석

SimGym은 전통적인 A/B 테스트가 가지고 있는 “트래픽 분산·시간 소요·사용자 경험 위험”이라는 3대 문제를 근본적으로 해결하고자 한다. 핵심 아이디어는 실제 쇼핑몰에서 수집된 클릭스트림 데이터를 그대로 활용해 ‘트래픽‑그라운드’(traffic‑grounded) 인공 구매자를 만드는 것이다. 이를 위해 저자들은 6단계 파이프라인을 설계했으며, 각 단계는 다음과 같은 기술적 의미를 가진다.

1. 세션‑레벨 클러스터링 – 세션을 행동, 탐색 깊이, 가격 민감도, 구매 퍼널 단계 등 10여 개 특성으로 벡터화하고 k‑means++(k=5)로 군집화한다. 클러스터는 ‘예산형·프리미엄형·윤리형·성능형·혼합형’ 등 구매자 유형을 반영한다.

2. 상품 선호 추출 – 각 (스토어, 클러스터) 쌍에 대해 LLM에게 “이 클러스터가 주로 어떤 카테고리를 탐색했는가?”를 질문하고, JSON 형태의 카테고리·상품 리스트와 근거를 반환받는다. 이는 이후 에이전트가 실제 페이지에서 탐색할 목표를 정의한다.

3. 구매 의도 생성 – 클러스터 평균 A2C 비율을 기반으로 구매‑집중 의도와 탐색‑집중 의도의 비율을 자동 보정한다. 의도는 “