듀얼플로우 정교화 시맨틱 아이디로 추천 혁신

초록

본 논문은 메이투안 서비스에 적용된 “DOS”(Dual‑Flow Orthogonal Semantic IDs) 모델을 제안한다. 사용자‑아이템 이중 흐름 구조와 직교 잔차 양자화(ORQ) 기법을 결합해 LLM 기반 생성 추천에서 시맨틱 ID 코드북과 생성 공간 사이의 불일치를 해소하고, 양자화 과정에서 발생하는 의미 손실을 최소화한다. 대규모 오프라인 실험 및 실시간 A/B 테스트 결과, 기존 RQ‑KMeans, RQ‑VAE, DAS 등에 비해 AUC·F1·Hit@10 등 주요 지표에서 현저히 우수한 성능을 보였으며, 실제 매출이 1.15 % 상승하는 비즈니스 효과를 입증하였다.

상세 분석

DOS는 두 가지 핵심 문제, 즉 “코드북‑생성 격차”와 “양자화 시 의미 손실”을 동시에 해결하고자 설계되었다. 첫 번째 문제는 기존 시맨틱 ID가 재구성 손실만을 최소화하는 task‑agnostic 방식으로 학습돼, 생성 모델이 실제 추천 시 요구하는 컨텍스트 정보를 충분히 반영하지 못한다는 점이다. 이를 보완하기 위해 저자들은 사용자‑아이템 이중 흐름(Dual‑Flow Integration, DFI) 구조를 도입한다. DFI는 (1) 사용자의 클릭 시퀀스를 Transformer 인코더로 인코딩하고, (2) 목표 아이템의 LLM‑생성 임베딩을 동일 인코더에 입력함으로써 두 입력을 동일한 차원 공간에 매핑한다. 이후 공유 코드북을 통해 사용자와 아이템 양쪽 모두를 동일한 양자화 과정에 넣어, 협업 신호를 직접 반영한 “컨텍스트‑정렬”된 시맨틱 ID를 생성한다.

두 번째 문제인 양자화 손실을 줄이기 위해 제안된 Orthogonal Residual Quantization(ORQ) 모듈은 세 단계로 구성된다. 첫 단계에서는 전체 임베딩을 직교 행렬 Wₒᵣₜₕ로 회전시켜, 의미 손실을 최소화하는 최적 방향을 찾는다. 회전 후에는 MLP‑기반 가중치 스코어를 통해 각 차원의 중요도를 추정하고, 상위 k 개의 차원을 “주요 특징”(X_pri)으로, 나머지를 “보조 특징”(X_sec)으로 구분한다. 주요 특징은 Mutual Information 기반 손실 L_Mutual을 통해 목표 라벨과의 연관성을 최대화하도록 학습된다. 이후 선택된 주요 특징을 현재 코드북 벡터와 가장 가까운 벡터(C_i)로 양자화하고, 잔차 X_resi = X_pri − C_i 를 계산한다. 이 잔차와 보조 특징을 결합해 다음 ORQ 레이어의 입력으로 전달함으로써, 점진적으로 더 세밀한 의미 정보를 보존한다. 손실 함수는 L_BCE (추천 이진 분류), L_Orth (직교성 유지), L_Mutual, L_Recon (재구성), L_VQ (벡터 양자화) 등을 가중치 α, β 로 조합해 다목적 최적화를 수행한다.

실험 설계는 메이투안 실제 로그 데이터를 활용한 대규모 양자화 데이터셋(2,400만 아이템, 180 M 인터랙션)과 온라인 A/B 테스트를 포함한다. 베이스라인으로는 RQ‑KMeans, RQ‑VAE, DAS, HSTU 등을 선택했으며, 모두 동일한 입력(사용자 시퀀스 + 목표 아이템)으로 재학습시켰다. 결과는 다음과 같다. 다운스트림 추천(AUC, F1)에서 DOS가 0.8763/0.8057을 기록해 가장 높은 점수를 얻었으며, Hit@10에서도 전체 0.0676, 비즈니스 카테고리별(0.0457~0.0797)로 기존 방법을 크게 앞섰다. Ablation 실험에서는 MLP 인코더 교체, 공유 코드북 제거, 디코더 추가 등 세 가지 변형이 각각 성능 저하를 초래함으로, DFI와 ORQ의 설계 선택이 실질적인 효과를 가지고 있음을 확인했다. 마지막 온라인 A/B 테스트에서는 SID만을 교체한 실험군이 매출을 1.15 % 상승시켰으며, 이는 의미 손실 최소화와 컨텍스트 정렬이 실제 비즈니스 가치로 직결됨을 증명한다.

전체적으로 DOS는 (1) 사용자‑아이템 상호작용을 직접 모델링해 코드북과 생성 공간을 정렬하고, (2) 직교 회전과 잔차 양자화를 통해 의미 손실을 최소화하는 두 축을 동시에 구현함으로써, 대규모 실시간 추천 시스템에서 LLM 기반 생성 모델의 효율성과 정확성을 크게 향상시킨다.