협업 사용자 프롬프트 기반 개인화 생성 추천

초록

본 논문은 대형 언어 모델(LLM)을 활용한 생성형 추천 시스템에서, 기존의 전역적 혹은 개별적 소프트 프롬프트만을 사용하던 한계를 극복하고자 사용자의 개인 선호와 유사 사용자들의 협업 신호를 결합한 개인화 소프트 프롬프트(Pe aPOD)를 제안한다. 사용자 임베딩을 사전 학습한 뒤, 다중 헤드 어텐션을 통해 목표 사용자와 가장 유사한 n명의 임베딩을 쿼리·키·밸류로 활용해 협업 정보를 동적으로 가중치화한다. 실험 결과, 순차 추천, Top‑N 추천, 설명 생성 세 가지 태스크에서 기존 최첨단 모델들을 능가함을 확인하였다.

상세 분석

PeaPOD는 크게 네 단계로 구성된다. 첫째, 확률적 행렬 분해(PMF)를 이용해 사용자‑아이템 피드백 행렬을 분해하고, 각 사용자를 d_u 차원의 임베딩 공간에 매핑한다. 이 임베딩은 기존 협업 필터링이 포착한 유사성 정보를 내재하고 있어, 개인화 프롬프트의 초기값으로 적합하다. 둘째, 목표 사용자 u의 임베딩을 쿼리(Q)로, 코사인 유사도가 높은 상위 n명의 임베딩을 키(K)와 밸류(V)로 변환한다. 여기서 선형 변환 W_Q, W_K, W_V와 편향 b_Q, b_K, b_V는 LLM의 기본 차원 d_m에 맞추어 학습된다. 셋째, 스케일드 닷‑프로덕트 어텐션을 적용해 softmax(QK^T/√d_m)·V 를 계산함으로써, 유사 사용자들의 정보를 목표 사용자에 맞게 가중합한다. 이 과정에서 어텐션 가중치는 유사도뿐 아니라 학습 과정에서 파라미터가 조정한 의미적 연관성을 반영한다. 넷째, 어텐션 결과 z에 선형 레이어(W_l, b_l)를 적용해 최종 소프트 프롬프트 p (길이 d_p)를 얻는다. 다중 헤드 어텐션을 도입하면 각 헤드가 서로 다른 유사성 측면—예를 들어, 장르 선호, 구매 빈도, 시계열 패턴—을 포착해 보다 풍부한 협업 신호를 통합한다.

학습 단계에서는 기존의 작업별 연속 프롬프트(task‑specific prompts)와 디스크리트 프롬프트를 그대로 유지하면서, PeaPOD가 생성한 협업 프롬프트 p를 추가 입력으로 사용한다. 배치마다 순차, Top‑N, 설명 생성 중 하나의 태스크를 교대로 학습(task‑alternated training)함으로써 데이터 포맷 일관성을 확보하고 학습 효율을 높인다. 손실 함수는 시퀀스‑투‑시퀀스 모델에 일반적인 Negative Log‑Likelihood(NLL)를 사용하고, 추론 시에는 빔 서치를 적용해 아이템 ID 혹은 자연어 설명을 생성한다.

실험은 Amazon의 Sports, Beauty, Toys 세 도메인에서 수행되었으며, 각 데이터셋은 사용자·아이템 수와 sparsity가 다르게 설정되어 실제 서비스 환경을 잘 반영한다. PeaPOD는 HR@10, NDCG@10 등 전통적인 Top‑N 지표와, 순차 추천의 MRR, 설명 생성의 BLEU/ROUGE 점수에서 모두 기존 P5, VIP5, POD, 그리고 최신 사용자‑프롬프트 기반 모델들을 능가했다. 특히, 협업 프롬프트를 사용했을 때 유사 사용자 그룹이 작게는 5명, 크게는 50명까지 확장해도 성능이 안정적으로 유지되는 점이 주목할 만하다.

이 논문의 핵심 기여는 (1) 협업 필터링 기반 사용자 임베딩을 LLM의 소프트 프롬프트로 변환하는 새로운 파이프라인, (2) 다중 헤드 어텐션을 통해 개인 선호와 그룹 선호를 동적으로 결합한 프롬프트 설계, (3) 다양한 추천 태스크에 일관된 성능 향상을 입증한 포괄적 실험이다. 또한, 코드와 데이터를 공개함으로써 재현 가능성을 높였으며, 향후 메타데이터나 컨텍스트 정보를 추가해 프롬프트를 더욱 풍부하게 확장할 여지를 남긴다.