GLASS 장기 시퀀스 모델링을 위한 생성형 추천 시스템

초록

GLASS는 사용자의 장기 행동을 SID(시맨틱 ID) 코드북에 매핑한 뒤, 초기 SID 토큰 예측을 강화하는 SID‑Tier 모듈과, 생성된 첫 번째 SID를 키로 활용해 과거 행동을 검색·통합하는 Semantic Hard Search를 결합한 생성형 추천 프레임워크이다. 두 단계의 희소성 보완 전략(시맨틱 이웃 증강·코드북 리사이징)을 통해 긴 시퀀스에서도 효율적인 연산을 유지하면서 최신 SOTA 모델들을 크게 앞선 성능을 달성한다.

상세 분석

GLASS는 기존 생성형 추천 시스템이 직면한 “시퀀스 길이에 따른 계산 복잡도 급증” 문제를 SID(시맨틱 ID)라는 계층적 양자화 표현을 활용해 완화한다. 먼저, 아이템을 멀티모달 임베딩으로 변환하고 RQ‑VAE 기반 양자화를 통해 3‑레벨 SID 코드북에 매핑한다. 이때 첫 번째 레벨 코드워드(𝑎∈C₀)는 전체 아이템 집합에서 해당 코드워드에 속하는 아이템들의 평균 임베딩 ˜hₐ를 프로토타입으로 만든다. SID‑Tier 모듈은 장기 행동 시퀀스 𝐻_long에 포함된 아이템 임베딩과 ˜hₐ 사이의 코사인 유사도를 계산하고, 유사도 구간을 여러 구간으로 나눈 뒤 각 구간에 속하는 아이템 수를 히스토그램 형태로 집계한다. 이렇게 얻은 히스토그램은 “전역 선호 벡터”로 변환되어 초기 SID₁ 토큰 예측에 직접 연결된다. 이는 기존 GR 모델이 초기 토큰을 순수히 최근 행동에만 의존해 발생하는 “타깃 부재” 문제를 사전에 완화한다.

다음 단계에서는 생성된 SID₁을 동적 키로 사용해 Semantic Hard Search를 수행한다. SID₁이 나타내는 의미적 클러스터에 속하는 과거 아이템들을 빠르게 조회하고, 이들 아이템 임베딩을 어댑티브 게이트 융합 모듈에 입력한다. 게이트는 단기 인코더 출력(최근 행동)과 장기 검색 결과를 가중합해, 이후 SID₂, SID₃ …와 같은 미세 토큰들의 생성 방향을 재조정한다. 여기서 핵심은 “키‑밸류” 형태의 검색이 아니라, SID₁이라는 고차원 의미 코드가 직접 검색 키가 된다는 점이다.

하지만 SID₁이 매핑되는 아이템 수가 적을 경우 검색 결과가 희소해지는 문제가 발생한다. 이를 해결하기 위해 두 가지 보완 전략을 제시한다. 첫 번째는 “시맨틱 이웃 증강”으로, SID₁과 코사인 유사도가 임계값 이하인 인접 코드워드들을 동적으로 포함해 검색 범위를 확장한다. 두 번째는 “코드북 리사이징”으로, 레벨‑별 코드워드 수 K_j 를 조정해 클러스터 밀도를 인위적으로 높인다. 두 방법 모두 검색 후보의 다양성을 확보해 후속 토큰 생성 시 정보 손실을 최소화한다.

실험에서는 Taobao‑MM과 KuaiRec 두 대규모 실제 데이터셋을 사용했으며, GLASS는 HR@10, NDCG@10 등 주요 지표에서 기존 SOTA 모델(OneRec, DualGR, LongRetriever 등)을 4~7%p 상회했다. 특히 긴 시퀀스(>10k 행동)에서의 성능 저하가 현저히 적어, 실제 서비스 환경에서의 적용 가능성을 입증한다. 코드와 학습 파이프라인을 공개함으로써 재현성과 확장성을 동시에 확보한 점도 주목할 만하다.