에이전트형 추천시스템을 위한 시뮬레이션 환경 RecoWorld

초록

**
RecoWorld는 가상 사용자와 에이전트형 추천시스템이 다중 턴 대화를 통해 사용자 유지율을 극대화하도록 설계된 시뮬레이션 플랫폼이다. 사용자 시뮬레이터는 추천 결과를 평가하고, 이탈 위험이 감지되면 명시적·암시적 지시를 생성한다. 에이전트형 추천기는 이러한 지시와 추론 로그를 활용해 리스트를 재구성하고, 상호작용 궤적을 기반으로 보상 신호를 제공한다. 텍스트·멀티모달·시맨틱 ID 등 다양한 콘텐츠 표현을 지원하고, 다중 사용자·다중 에이전트 시뮬레이션, 공개 리더보드 기능을 제공함으로써, 실제 서비스에 앞서 안전하고 빠른 RL 기반 정책 학습을 가능하게 한다.

**

상세 분석

**
RecoWorld는 기존 오프라인 메트릭(Recall@N, NDCG)과 온라인 A/B 테스트의 한계를 보완하기 위해, LLM 기반 사용자 시뮬레이터와 에이전트형 추천시스템을 결합한 ‘듀얼‑뷰’ 아키텍처를 제안한다. 핵심은 사용자가 이탈 직전 “더 흥미로운 콘텐츠 보여줘”와 같은 명시적 지시를 내리면, 시스템이 이를 해석하고 내부 상태(사용자 프로필, 과거 행동, 컨텍스트)를 재조정해 새로운 후보 리스트를 생성한다는 점이다.

1. 사용자 시뮬레이터 설계

   • 행동 모델링: 클릭, 스킵, 체류시간, 공유 등 다중 행동을 시뮬레이션하고, 행동 로그를 기반으로 “pseudo‑reward”를 산출한다.
   • 지시 생성 메커니즘: 이탈 위험을 감지하면 사전 정의된 템플릿이나 LLM 프롬프트를 이용해 자연어 지시를 만든다. 이는 명시적 지시와 암시적 신호(예: 긴 영상 선호)를 동시에 포함한다.
   • 다중 프로파일: 연령·지역·관심사 등 메타데이터를 조합해 다양한 사용자 군집을 생성하고, 이를 통해 다중 에이전트 실험이 가능하도록 설계했다.

2. 에이전트형 추천시스템

   • LLM 기반 추론: 지시를 입력받아 과거 상호작용, 사용자 프로필, 콘텐츠 메타데이터를 종합적으로 reasoning하고, 후보 생성·재랭킹 파이프라인에 전달한다.
   • 멀티턴 피드백 루프: 각 턴마다 사용자 시뮬레이터가 제공하는 보상(시간, 클릭 수 등)과 지시 성공 여부를 평가해 정책을 업데이트한다. 이는 강화학습(RL) 혹은 오프라인 정책 최적화와 자연스럽게 연결된다.
   • 멀티모달·시맨틱 ID: 텍스트, 이미지, 영상 등 다양한 모달을 동일한 시맨틱 ID로 매핑해, LLM이 모달 간 연관성을 파악하고 통합 추천을 생성하도록 지원한다.

3. 학습 및 평가 프레임워크

   • Gym‑like 인터페이스: OpenAI Gym과 유사한 API를 제공해, 연구자들이 에이전트(추천 정책)와 환경(사용자 시뮬레이터)을 자유롭게 교체·조합할 수 있다.
   • 트래젝터 기반 보상: 전체 세션 시간, 턴 수, 이탈 여부 등을 종합한 보상 함수를 정의하고, LLM 기반 ‘judge’가 사전 정의된 루브릭에 따라 트래젝터의 성공 여부를 판정한다.
   • 리더보드·커뮤니티: 공개된 리더보드에 다양한 에이전트 구현을 제출하도록 장려해, 동일 환경에서의 공정 비교와 베스트 프랙티스 공유를 촉진한다.

4. 시사점 및 한계

   • 장점: 실제 사용자에게 위험을 가하지 않고 급진적인 정책 탐색이 가능하며, 명시적 지시를 통한 ‘instruction‑following’ 능력을 정량화할 수 있다. 또한, 멀티모달 콘텐츠와 시맨틱 ID를 활용해 기존 협업 필터링이 놓치는 장기적 흥미를 포착한다.
   • 한계: 시뮬레이터가 생성하는 지시와 행동이 실제 인간의 복잡성을 완전히 재현하기 어렵다. LLM의 ‘hallucination’이나 편향이 시뮬레이션 결과에 전이될 위험이 존재한다. 또한, 보상 설계가 지나치게 장기 유지에 초점을 맞추면 단기 만족도가 저하될 수 있다.
   • 향후 과제: 시뮬레이터와 실제 사용자 간의 도메인 적응(gap) 최소화, 보상 함수의 다중 목표 최적화, 그리고 실제 서비스와 연계한 하이브리드 온라인‑오프라인 학습 파이프라인 구축이 필요하다.

**