동적 개인화 아이템 토크나이저를 통한 엔드투엔드 생성 추천

초록

PIT는 협업 신호와 멀티모달 정보를 실시간으로 반영하는 동적 아이템 토크나이저와 사용자‑토크나이저를 공동으로 학습하는 프레임워크이다. 협업 신호 정렬(CSA) 모듈로 아이템 임베딩에 행동 정보를 주입하고, 최소 손실 선택 메커니즘과 one‑to‑many 빔 인덱스로 토크나이저와 생성 모델을 동시에 진화시켜 토큰 불안정을 해소한다. 실험과 Kuaishou 온라인 A/B 테스트에서 기존 방법들을 크게 앞서며, 앱 체류 시간 0.402 % 상승을 기록했다.

상세 분석

PIT는 기존 생성 추천 시스템이 겪는 “정적 토크나이저‑동적 추천” 간의 불일치를 근본적으로 해결한다. 첫 번째 핵심은 협업 신호 정렬(CSA)이다. CSA는 Deep Interest Network(DIN)를 보조 과제로 사용해 사용자 행동 시퀀스와 아이템 멀티모달 임베딩을 연결한다. 여기서 사용자 히스토리는 stop‑gradient 처리되어 메인 생성 모델의 파라미터와는 독립적으로 학습되며, 아이템 임베딩에 행동‑특화 정보를 직접 주입한다. 이는 기존 정적 토크나이저가 콘텐츠 재구성에만 최적화돼 협업 신호를 무시하던 문제를 보완한다.

두 번째 핵심은 아이템‑투‑토큰(Item‑to‑Token) 모델이다. 경량 디코더‑전용 트랜스포머를 사용해 아이템 임베딩을 시작 토큰(BOS)으로 삼아 SID(시맨틱 아이디) 시퀀스를 자동 생성한다. 중요한 점은 아이템 임베딩을 detach함으로써 토크나이저가 협업·멀티모달 신호를 그대로 반영하도록 강제한다. 따라서 생성된 SID는 아이템의 실제 협업 특성을 그대로 담는다.

세 번째는 사용자‑투‑토큰(User‑to‑Token) 모델로, 일반적인 인코더‑디코더 혹은 lazy‑decoder 구조를 채택한다. 이 모델은 사용자 히스토리를 입력받아 목표 아이템의 SID 시퀀스를 예측한다. 여기서 PIT는 “최소 손실 선택” 메커니즘을 도입한다. 아이템‑투‑토큰이 여러 후보 SID를 생성하면, 사용자‑투‑토큰이 각 후보에 대해 예측 손실을 계산하고, 가장 낮은 손실을 보이는 SID를 최종 토큰으로 채택한다. 이 과정은 토크나이저와 생성 모델을 동시 최적화하는 공동 진화(co‑evolution) 학습을 가능하게 하며, 토큰 불안정성을 크게 감소시킨다.

또한, “one‑to‑many 빔 인덱스”를 도입해 하나의 아이템에 다수의 유효한 SID를 유지한다. 이는 실시간 스트리밍 학습 환경에서 협업 신호가 급격히 변동할 때 단일 경로 인덱스가 파괴되는 위험을 완화하고, 인덱스 업데이트를 원활히 수행하도록 돕는다.

실험에서는 공개 데이터셋과 Kuaishou 내부 데이터 모두에서 PIT가 기존 정적 토크나이저 기반 모델(TIGER, LC‑Rec) 및 최신 학습형 토크나이저(LETTER, ETEGRec)보다 명확히 높은 HR@10, NDCG@10을 기록했다. 특히 대규모 온라인 A/B 테스트에서 앱 체류 시간(App Stay Time)이 0.402 % 상승했으며, 이는 수억 사용자 규모에서 실질적인 매출·사용자 만족도 향상으로 이어졌다.

전반적으로 PIT는 토크나이저와 생성 모델을 하나의 학습 루프 안에서 공동 진화시키는 설계, 협업 신호를 직접 주입하는 CSA, 그리고 다중 후보 토큰을 활용하는 최소 손실 선택 및 빔 인덱스라는 세 가지 혁신을 통해 산업 현장의 급변하는 데이터 흐름에 강인한 생성 추천 시스템을 제공한다.