ThinkRec: 사고 기반 LLM 추천 시스템

초록

ThinkRec은 아이템 메타데이터와 합성된 추론 트레이스를 활용해 LLM을 시스템 2 방식으로 활성화하고, 사용자 잠재 특성에 기반한 인스턴스별 전문가 LoRA 융합으로 정확하고 해석 가능한 추천을 제공한다.

상세 분석

ThinkRec은 기존 LLM 기반 추천이 주로 시스템 1(직관·패턴 매칭) 방식에 머무르는 문제점을 인식하고, 시스템 2(논리·추론) 사고를 모델에 주입한다는 근본적 전환을 시도한다. 핵심 기술은 두 축으로 나뉜다. 첫 번째는 ‘생각 활성화(Thinking Activation)’ 메커니즘으로, 아이템의 원시 메타데이터를 사전 학습된 요약 모델을 통해 최대 10개의 핵심 키워드로 압축하고, 이를 아이템 텍스트에 삽입한다. 동시에 강력한 추론 모델(Qwen‑7B 등)로부터 합성된 추론 트레이스를 생성해, “사용자 → 아이템 → 이유” 형태의 체인‑오브‑쓰레드(Chain‑of‑Thought) 데이터를 만든다. 이렇게 구축된 데이터는 기존 클릭/비클릭 라벨과 혼합 샘플링되어 LLM에 공동 학습된다. 결과적으로 LLM은 단순 토큰 예측을 넘어, “왜 이 아이템을 추천하는가”라는 명시적 이유를 생성하도록 훈련된다. 두 번째 축은 ‘인스턴스‑와이즈 전문가 융합(Instance‑wise Expert Fusion)’이다. 전통적인 협업 필터링(MF, LightGCN 등)으로부터 추출한 사용자 잠재 벡터를 클러스터링해 여러 사용자 그룹을 정의하고, 각 그룹에 대해 Low‑Rank Adaptation(LoRA) 파라미터를 별도로 파인튜닝한다. 배포 시에는 게이팅 메커니즘이 현재 사용자의 잠재 특성과 가장 유사한 LoRA를 동적으로 선택·가중합하여, 개인화된 추론 경로를 제공한다. 이 설계는 (1) 다양한 사용자 행동 패턴을 반영해 추론 난이도를 낮추고, (2) 모델 파라미터 내에 추론 능력을 내재화해 실시간 순위 단계에서 단일 토큰 출력만으로 배치 예측이 가능하도록 만든다. 실험에서는 세 개의 공개 웹 행동 데이터셋(예: Amazon Books, MovieLens 등)에서 ThinkRec이 기존 최첨단 LLM‑Rec 및 전통 협업 모델 대비 AUC에서 평균 7.96%·METEOR에서 56.54% 향상을 기록했다. 특히, 이유 생성(METEOR)에서 큰 폭의 개선이 관찰돼, 모델이 제공하는 설명이 인간 평가자에게도 높은 신뢰성을 갖는다는 점을 입증한다. Ablation 연구에서는 (① 메타데이터 키워드 삽입, ② 합성 추론 트레이스, ③ 전문가 LoRA 융합) 각각이 성능에 기여함을 확인했으며, 특히 전문가 융합이 사용자별 맞춤성을 크게 높이는 것으로 나타났다. 한계점으로는 합성 추론 데이터의 품질에 의존한다는 점과, LoRA 그룹 수가 증가할 경우 메모리·연산 비용이 상승한다는 점을 들 수 있다. 향후 연구에서는 자동화된 추론 트레이스 검증 및 효율적인 전문가 관리 기법을 탐색할 계획이다.