장기 사용자 행동 이해를 위한 속성‑레벨 추천 벤치마크 ALPBench

초록

ALPBench는 사용자의 장기 행동 로그를 자연어 형태로 제공하고, 향후 구매 가능성이 높은 아이템의 속성 조합을 예측하도록 설계된 새로운 벤치마크이다. 기존 아이템‑예측 방식과 달리 속성‑예측으로 안정적인 사용자 선호를 평가하며, 8개 카테고리·다중 속성 라벨을 포함한 대규모 중국 전자상거래 데이터를 기반으로 한다. 실험 결과 최신 LLM들조차 긴 컨텍스트에서 복합 속성 상호작용을 정확히 파악하지 못함을 보여, 장기 개인화 능력 향상의 필요성을 강조한다.

상세 분석

ALPBench는 “속성‑레벨 사용자 관심 예측”이라는 새로운 평가 목표를 제시한다. 기존 추천 벤치마크가 아이템을 직접 예측하도록 설계된 반면, 이 연구는 사용자가 실제로 구매하거나 상호작용한 아이템의 메타데이터(제목, 판매 포인트, 가격대 등)를 속성 집합으로 변환하고, 모델이 해당 속성 조합을 추론하도록 한다. 이는 두 가지 중요한 장점을 제공한다. 첫째, 새로 출시된 아이템이라도 속성 라벨만 있으면 정답을 만들 수 있어 콜드‑스타트 문제를 회피한다. 둘째, 아이템의 인기도나 플랫폼 정책 등 외부 요인에 좌우되지 않는, 사용자의 안정적인 선호를 측정한다.

데이터 구축 과정은 크게 네 단계로 나뉜다. 1) 카테고리 선택 – 고빈도 카테고리를 추출해 메타데이터 품질을 확보하고, 2) 사용자 필터링·노이즈 제거 – 쇼핑 페스티벌 기간을 기준으로 행동을 구분해 의도적인 구매 기록만을 보존한다. 3) 컨텍스트 정제 – URL, 중복 텍스트 등을 제거하고, Gemini‑2.5‑Pro와 같은 LLM을 활용해 의미적 정규화를 수행한다. 4) 인간·모델 협업 검수 – 모델이 생성한 추론 과정을 인간 검수자가 확인함으로써 대규모 데이터의 품질을 보장한다. 이러한 파이프라인은 특히 장기(3개월·6개월·12개월) 행동 시퀀스를 수천 토큰 규모로 구성해, 현재 LLM이 직면한 “긴 컨텍스트 처리” 한계를 그대로 시험한다.

속성 조합 예측은 단순히 각 속성을 독립적으로 맞추는 것이 아니라, 공동 최적화 문제로 정의된다. 각 카테고리 C마다 속성 집합 A_C = {A₁,…,A_k}와 각각의 후보값 집합 V_j가 주어지고, 모델은 사용자 시퀀스 S_u와 카테고리 정보를 입력받아 최적 조합 ŷ = argmax_y P(y|S_u, C, A_C, {V_j})를 선택한다. 이는 다중 라벨 분류와 조합 최적화가 결합된 형태이며, LLM이 복잡한 논리적 추론과 장기 기억을 동시에 수행해야 함을 의미한다.

실험에서는 Qwen, GLM, Gemini, DeepSeek, Claude, GPT‑5 등 최신 모델 10여 종을 zero‑shot 설정으로 평가했다. 평가 지표는 프로파일‑레벨 Precision(전체 속성 조합이 정확히 일치하는 비율)와 Recall, F1 등을 사용했으며, 결과는 대부분 30% 이하의 Precision을 기록했다. 특히 컨텍스트 길이가 늘어날수록(12개월) 성능이 급격히 하락하는 경향을 보였는데, 이는 현재 LLM이 긴 시퀀스에서 중요한 신호를 선택적으로 유지하지 못한다는 점을 시사한다. 또한 속성 간 상호작용(예: 가격대와 브랜드 선호)의 복합성을 포착하지 못해, 단일 속성 예측에 비해 큰 격차가 나타났다.

이 논문의 핵심 기여는 세 가지로 요약할 수 있다. 1) 평가 패러다임 전환 – 아이템 대신 속성 조합을 예측함으로써 안정적인 사용자 선호를 측정한다. 2) 대규모 장기 행동 데이터 – 3개월·6개월·12개월에 걸친 수천 토큰 규모의 시퀀스를 제공해, LLM의 장기 기억 능력을 직접 테스트한다. 3) 다중 속성 공동 최적화 – 복합 속성 공간에서의 추론을 요구함으로써, 기존 추천 모델이 놓치기 쉬운 고차원 상호작용을 드러낸다. 결과적으로 ALPBench는 “개인화된 지능”을 목표로 하는 차세대 LLM 연구에 필수적인 평가 도구로 자리매김할 가능성이 크다.