아이디 대신 의미 토큰으로 대규모 랭킹 모델 확장하기

초록

본 논문은 전통적인 아이템 ID 임베딩이 초대형 랭킹 시스템에서 겪는 급변하는 아이템 풀 문제를 해결하고자, 멀티모달 및 사용자 행동 정보를 결합한 의미 토큰 기반 프레임워크(TRM)를 제안한다. TRM은 토큰 생성·정제·학습 파이프라인을 개선해 저장량을 33 % 절감하고 AUC를 최대 0.85 % 상승시키며, 실제 서비스에서 활성 사용자 일수와 쿼리 변화 비율을 각각 0.26 %·0.75 % 향상시켰다.

상세 분석

이 논문은 아이템 ID를 고정된 범주형 심볼로 취급하고 대규모 임베딩 테이블에 매핑하는 기존 방식이 “ID 드리프트”(새로운 ID 등장·구식 ID 퇴출)와 “콜드 스타트” 문제를 야기해 dense 파라미터의 효율적 스케일링을 방해한다는 점을 지적한다. 이를 해결하기 위해 저자들은 의미 토큰(semantic token)을 ‘구조적·폐쇄형 집합’으로 정의하고, 아이템의 멀티모달 콘텐츠(이미지, 텍스트, 오디오 등)와 대규모 사용자 행동 로그를 동시에 학습시켜 ‘협업 인식( collaborative‑aware )’ 임베딩을 만든다. 핵심 기술은 세 단계로 구성된다.

1. 협업 인식 멀티모달 아이템 표현: 먼저 대규모 멀티모달 LLM(Qwen2.5‑VL 등)을 사용해 아이템의 비주얼·텍스트 정보를 캡션 생성 과제로 사전학습한다. 이후 평균 풀링된 토큰 벡터를 추출하고, 쿼리‑아이템·아이템‑아이템 양성 쌍을 구성해 대조 학습(constrastive learning)으로 사용자 행동과의 정렬을 수행한다. 이 과정에서 캡션 손실과 정렬 손실을 가중치 λ로 결합해 최종 손실 L_rep을 최소화한다.

2. 하이브리드 토큰화와 일반화‑기억력 트레이드‑오프: 협업 인식 임베딩에 잔차 양자화(RQ‑Kmeans)를 적용해 ‘일반화 토큰(gen‑tokens)’을 만든 뒤, BPE 기반의 고빈도 k‑gram을 추출해 ‘기억 토큰(mem‑tokens)’을 생성한다. 두 토큰군은 각각 해시 임베딩 모듈에 입력되어 Wide & Deep 구조에 매핑된다. Wide 파트는 mem‑tokens(세밀한 조합 지식) 를, Deep 파트는 gen‑tokens(공통 의미) 를 담당하며, Deep 파트에 랜덤 드롭아웃을 적용해 과적합을 방지한다. 이 설계는 기존 잔차 양자화가 초래한 ‘조합 지식 손실’을 보완하고, 신상품·장기 아이템 모두에서 안정적인 성능을 유지한다.

3. 판별·생성 목표의 공동 최적화: 기존 연구는 토큰을 단순히 판별 손실(예: 클릭 예측) 혹은 생성 손실(예: 다음 토큰 예측) 중 하나에만 사용했지만, TRM은 두 목표를 동시에 최적화한다. 판별 손실은 토큰 시퀀스 전체를 이용해 순위 점수를 예측하고, 생성 손실은 토큰 시퀀스 내부의 구조적 의존성을 학습한다. 이렇게 하면 토큰 순서와 조합 의미를 모두 활용해 모델의 표현력을 극대화한다.

실험 결과는 두 가지 차원에서 검증된다. 오프라인 로그 기반 AUC 테스트에서는 기존 ID 기반 DLRM·RankMixer 대비 0.65 %~0.85 % 상승했으며, 토큰 저장량은 33 % 감소했다. 또한 모델 파라미터를 1 B에서 1.2 B까지 확장할 때, ID 기반 모델은 성능 포화에 빠지는 반면, TRM은 스케일링 법칙(L ∝ N^‑β)에 부합해 지속적인 이득을 보였다. 마지막으로 대규모 개인화 검색 서비스에 A/B 테스트를 적용했을 때, 활성 사용자 일수는 0.26 % 증가하고, 쿼리 변동 비율은 0.75 % 감소하는 실질적인 비즈니스 효과를 확인했다.

이 논문은 의미 토큰이 아이템 ID의 불안정성을 극복하고, 대규모 랭킹 모델의 스케일링을 가능하게 하는 핵심 매개체임을 이론·실험 모두에서 설득력 있게 제시한다. 특히 ‘협업 인식’이라는 새로운 정렬 단계와 ‘일반화‑기억력 하이브리드 토큰화’가 기존 토큰 기반 접근법의 한계를 뛰어넘는 주요 혁신으로 평가된다. 향후 연구에서는 토큰 생성 비용 감소, 실시간 토큰 업데이트 메커니즘, 그리고 다른 도메인(예: 광고·뉴스 추천)으로의 일반화 가능성을 탐색할 여지가 있다.