실제 여행 계획을 통한 장기 상호작용 에이전트 벤치마크 TRIP‑Bench

초록

TRIP‑Bench는 18개의 도구와 40여 개의 여행 요구사항을 활용해 최대 15턴, 150회 이상의 도구 호출을 포함하는 장기 대화 시나리오를 제공한다. 쉬운 난이도에서는 최고 모델도 50% 이하, 어려운 난이도에서는 10% 미만의 성공률을 보이며, 제안된 GTPO 강화학습 기법이 Qwen2.5‑32B‑Instruct의 성능을 크게 끌어올린다.

상세 분석

본 논문은 LLM 기반 에이전트가 실제 서비스 환경에서 마주하는 세 가지 핵심 과제—전역 제약 조건 준수, 다중 도구 협업, 장기 사용자 행동 변화—를 평가하기 위해 TRIP‑Bench라는 새로운 벤치마크를 설계하였다. 데이터는 기존 TripTailor 데이터를 정제·확장하여 40개 도시, 6천 개 이상의 여행 일정, 80만 개 이상의 호텔·레스토랑·관광지 정보를 포함한다. 18개의 도구는 교통, 숙박, 음식점, 관광지 검색 등 실생활에 가까운 API 형태로 구현돼, 필터링·정렬·결과 제한 등 세밀한 파라미터 제어가 가능하다.

요구사항은 ‘루브릭‑제약’ 쌍으로 정의되며, 각 루브릭은 자연어 표현(예: “가격이 200달러 이하인 호텔”)을 정량적 범위와 검증 가능한 ID 집합으로 매핑한다. 이를 통해 자동 생성·검증 파이프라인이 구축돼, 사용자가 단계별로 요구사항을 추가·수정·삭제하는 ‘수정 체인’을 합성한다. 체인 길이와 제약 수, 여행 일수 등을 기준으로 Easy·Mid·Hard 세 난이도로 분류하고, Hard 난이도는 LIT(긴 대화), FIT(가능‑불가능 전이), AIS(모호한 의도 변환), PMR(플랜 병합·리다이렉션) 네 가지 서브셋을 추가로 만든다.

평가 메트릭은 (1) 전역 제약 만족도, (2) 도구 호출 정확성, (3) 대화 흐름 일관성, (4) 사용자 선호 반영 정도 등 다중 차원을 동시에 측정한다. 자동화된 규칙 기반 검증기와 턴‑레벨 점수 집계 방식을 도입해 200k 토큰을 초과하는 긴 컨텍스트에서도 신뢰성 있는 채점이 가능하도록 설계하였다.

실험 결과, 최신 GPT‑5.2, Gemini‑3‑Pro, Qwen2.5‑Instruct 등 최첨단 모델조차 Easy 셋에서 45%‑50% 정도, Hard 셋에서는 8%‑10% 미만의 성공률을 보였다. 이는 기존 단일턴·짧은 도구 호출 벤치마크와는 큰 격차를 나타낸다.

이를 극복하기 위해 제안된 GTPO(Group‑Relative Turn‑level Policy Optimization)는 (① 턴‑레벨 보상 정규화, ② 전역 명령 정규화, ③ 보상 차분) 세 가지 핵심 메커니즘을 결합한 온라인 다중 턴 강화학습 프레임워크이다. GTPO는 에이전트가 각 턴에서 얻는 즉시 보상을 정규화해 보상 스케일 차이를 완화하고, 전체 대화 목표와의 차이를 보상에 반영함으로써 장기 의사결정의 안정성을 높인다. Qwen2.5‑32B‑Instruct에 GTPO를 적용한 결과, Loose 모드에서는 10%p, Strict 모드에서는 5%p 이상의 절대 성능 향상이 관찰되었으며, Gemini‑3‑Pro를 능가하는 결과를 기록했다.

논문의 한계로는 (1) 여행 계획이라는 도메인에 특화된 설계라 일반화 가능성이 제한될 수 있음, (2) 사용자 시뮬레이터가 규칙 기반이므로 실제 인간 사용자의 비정형 행동을 완전히 포착하지 못할 가능성, (3) GTPO가 온라인 RL에 의존해 학습 비용이 높아 실시간 서비스 적용에 추가적인 최적화가 필요함을 들 수 있다. 향후 연구에서는 도메인 간 벤치마크 확장, 인간 사용자와의 실험, 그리고 메모리 효율적인 RL 알고리즘 개발이 기대된다.