LLM 기반 시퀀스 추천을 위한 스펙트럼‑인식 트랜스포머 어댑터

초록

본 논문은 대규모 언어 모델(LLM)에서 추출한 고차원 텍스트 임베딩을 기존의 저차원 아이템 ID 임베딩에 효과적으로 매핑하는 방법을 제안한다. 기존 어댑터 기반 방법은 차원 붕괴 현상으로 정보가 소수의 차원에 집중되고, SVD 기반 방법은 주요 스펙트럼만 고정적으로 사용해 풍부한 정보를 손실한다. 이를 해결하기 위해 스펙트럼‑인식 트랜스포머 어댑터(SpecTran)를 설계하여 전체 스펙트럼을 동적으로 주의(attention)하고, 특이값을 인코딩한 학습 가능한 위치 인코딩으로 다양성을 유도한다. 네 개 데이터셋·세 개 백본 모델에서 평균 9.17%의 성능 향상을 달성한다.

상세 분석

SpecTran은 LLM이 생성한 4,096 차원의 텍스트 임베딩을 먼저 특이값 분해(SVD)하여 좌측 특이벡터 U, 특이값 행렬 Σ, 우측 특이벡터 Vᵀ 로 분해한다. 기존 SVD‑기반 방법은 V의 상위 d개 열만 선택해 차원을 축소하지만, 이 과정에서 하위 스펙트럼이 무시되어 잠재적인 의미 정보가 손실된다. 반면 어댑터(MLP) 기반 방법은 파라미터를 학습하지만, 학습 과정에서 대부분의 특이값이 0에 가까워지는 ‘스펙트럼 차원 붕괴’를 일으켜 실제로는 소수의 차원에만 정보가 집중된다.

SpecTran은 이러한 두 문제를 동시에 해결한다. 먼저 Vᵀ(또는 V)를 입력 토큰 시퀀스로 간주하고, 각 토큰에 특이값을 정규화한 스펙트럼‑포지셔널 인코딩을 더한다. 이 인코딩은 “특이값이 큰 성분이 더 중요한가?”라는 사전 지식을 모델에 주입하면서도, 학습을 통해 실제 추천 목표에 맞는 가중치를 자동으로 조정한다. 이후 표준 트랜스포머의 멀티‑헤드 어텐션을 적용해 Q, K, V를 생성하고, 어텐션 가중치 ϕ(QKᵀ) 를 통해 전체 스펙트럼에 걸친 가중합을 수행한다. 결과적으로 각 출력 차원은 다양한 스펙트럼 성분을 혼합하게 되며, 차원 붕괴가 크게 완화된다.

수식적으로는 Eₛ = U ·