MLSA4Rec Mamba와 저랭크 셀프 어텐션 결합 순차 추천

초록

MLSA4Rec은 Mamba와 저랭크 분해 셀프 어텐션(LSA)을 결합해 사용자 행동 시퀀스를 선형 시간 복잡도로 처리하는 순차 추천 모델이다. Mamba가 제공하는 구조적 편향과 전역 정보를 LSA가 보완하며, 게이트 기반 정보 교환으로 두 모듈이 상호 보완한다. 실험 결과, 세 개의 실제 데이터셋에서 기존 Self‑Attention 및 Mamba 기반 모델을 능가한다.

상세 분석

본 논문은 순차 추천에서 가장 큰 제약인 자연스러운 장기 의존성 학습과 계산 복잡도 문제를 동시에 해결하고자 한다. 기존 Self‑Attention 기반 모델은 O(L²) 복잡도로 긴 시퀀스에 비효율적이며, 구조적 편향이 부족해 과적합 위험이 있다. 반면, 최근 도입된 Mamba는 선택적 상태공간 모델(Selective SSM)을 활용해 O(L) 복잡도와 구조적 편향을 제공하지만, 로컬 패턴 포착에 한계가 있다. 저자는 두 접근법의 상보성을 인식하고, 이를 효율적으로 결합하는 Mamba‑LSA Interaction Module 을 설계하였다.

첫 번째 핵심은 Low‑Rank Decomposed Self‑Attention(LSA) 이다. 아이템 임베딩을 P개의 잠재 관심(latent interest) 공간으로 투사하고, 아이템‑관심 집계와 관심‑아이템 상호작용을 통해 O(P·L) 복잡도로 어텐션을 근사한다. 여기서 P ≪ L이므로 실제 연산량이 크게 감소한다. 두 번째 핵심은 Mamba 블록이다. 입력‑의존적 선택 메커니즘을 통해 전역 시퀀스 정보를 선택적으로 전달하고, 구조적 편향을 인코딩한다.

두 모듈은 게이트 기반 정보 전송(gated information transmission) 으로 연결된다. LSA가 추출한 잠재 관심 벡터 ε 와 Mamba 출력 H 을 원소별 곱으로 결합하고, 이를 MLP와 GELU 활성화 함수를 거쳐 다시 Mamba에 피드백한다. 이 과정은 LSA가 “사용자 잠재 관심”을 강조하고, Mamba가 “전역 흐름”을 조정하도록 만든다. 이후 두 출력은 Concatenation 후 선형 변환과 GELU를 통해 최종 사용자 표현 Ĥ 을 만든다.

복잡도 분석에서는 LSA와 Mamba 각각이 O(L)이며, 추가적인 선형 변환·정규화도 선형 범위에 머문다. 따라서 전체 모델은 시퀀스 길이에 대해 선형 스케일을 유지한다.

실험에서는 MovieLens‑1M, Amazon‑Beauty, Amazon‑Video‑Games 세 데이터셋을 사용해 HR@10, NDCG@10, MRR@10을 평가하였다. MLSA4Rec은 SASRec, BERT4Rec 등 기존 Self‑Attention 기반 모델과 Mamba4Rec을 모두 앞섰으며, 특히 긴 시퀀스에서 성능 격차가 두드러졌다. 이는 LSA가 로컬 정보를 보완하고, Mamba가 전역 흐름을 유지함으로써 얻어진 결과로 해석된다.

한계점으로는 P 값 선택에 대한 민감도 분석이 부족하고, 게이트 메커니즘이 단순히 원소곱에 의존한다는 점이다. 향후에는 동적 P 조정, 보다 복잡한 게이트 설계, 그리고 다양한 도메인(예: 뉴스, 음악)에서의 일반화 검증이 필요하다.