스케일러블 순차 추천을 위한 홀로맴바Rec 설계

초록

HoloMambaRec은 항목‑속성 결합을 원형 컨볼루션으로 구현한 HRR 기반 임베딩과, Mamba 스타일의 선택적 상태공간 인코더를 결합해 선형 시간·메모리 복잡도로 장기 사용자 행동을 모델링한다. Amazon Beauty와 MovieLens‑1M에서 10 epoch 학습 예산 하에 SASRec을 능가하고, MovieLens‑1M에서는 최신 성능을 달성하면서 메모리 사용량을 크게 절감한다.

상세 분석

본 논문은 순차 추천 시스템이 직면한 두 가지 핵심 제약—긴 사용자 히스토리의 장기 의존성 포착과 실시간 서비스에서 요구되는 낮은 레이턴시·메모리 사용량—을 동시에 해결하고자 한다. 이를 위해 저자는 크게 세 가지 기술적 혁신을 제시한다. 첫째, 항목과 이산 속성을 동일 차원의 벡터 공간에 결합하기 위해 ‘holographic reduced representation (HRR)’을 도입한다. 구체적으로 아이템 임베딩 e(i)와 속성 임베딩 e(a)를 원형 컨볼루션(⊛)으로 바인딩하고, 학습 가능한 스칼라 α로 바인딩 강도를 조절한다. FFT 기반 구현으로 O(d log d) 연산 비용을 유지하면서 차원 폭증 없이 풍부한 메타데이터를 인코딩한다는 점이 핵심이다. 둘째, 시퀀스 모델링에는 Mamba에서 영감을 얻은 ‘선택적 상태공간(Selective State Space, SSS)’ 블록을 사용한다. 입력 ũ_t 에 대해 선형 변환 W_in 으로 전처리하고, 1‑D 컨볼루션을 통해 입력‑조건부 전이 Δ_t, B_t, C_t 를 생성한다. 이들 파라미터는 각각 adaptive step size, 전이 행렬, 출력 행렬 역할을 하며, 대각선 상태 행렬 A 와 결합해 h_t = exp(−Δ_t A)⊙h_{t−1}+Δ_t⊙B_t⊙ũ_t 식으로 상태를 업데이트한다. 이렇게 하면 O(L·d_state) 시간·메모리 복잡도로 전체 시퀀스를 처리할 수 있다. 또한, SiLU와 skip 연결 D 를 활용해 비선형성을 보강하고, residual‑LayerNorm 구조를 통해 학습 안정성을 확보한다. 셋째, 설계는 ‘시간 번들링(temporal bundling)’을 위한 전방 호환성을 갖춘다. k개의 연속 토큰을 학습 가능한 위치 역할 벡터와 함께 슈퍼포지션함으로써 효과적인 시퀀스 길이를 ⌈L/k⌉ 로 감소시킬 수 있다. 현재 실험에서는 번들링을 비활성화했지만, 향후 초장기 히스토리 압축에 유용할 것으로 기대한다. 실험 결과는 두 데이터셋 모두에서 10 epoch 제한 하에 SASRec 대비 HR@10/NDCG@10이 평균 3~5%p 상승했으며, MovieLens‑1M에서는 최신 S4‑based 모델과 동등하거나 약간 앞서는 성능을 보였다. 메모리 측면에서는 HRR 바인딩이 추가 파라미터 없이 속성 정보를 포함하고, SSS 블록이 O(L²) 어텐션 대비 10배 이하의 메모리를 사용한다는 점이 강조된다. 부정적 결과로는 ‘holographic compression’ 변형이 성능 저하를 일으켰으며, 이는 향후 연구 과제로 남겨졌다. 전체적으로 HoloMambaRec은 메타데이터‑인식 임베딩과 선형‑시간 상태공간 모델링을 결합함으로써, 대규모 실서비스 환경에서 긴 히스토리를 효율적으로 활용할 수 있는 실용적인 대안을 제시한다.