대형 언어모델로 탐구하는 텍스트 기반 추천 시스템의 최대 한계

초록

본 연구는 텍스트 기반 협업 필터링(TCF)에서 아이템 인코더로 사용되는 언어 모델의 규모를 1억에서 1,750억 파라미터까지 극단적으로 확장했을 때의 성능 한계와 영향을 실증적으로 분석합니다. 대규모 언어 모델(LLM)이 보편적인 아이템 표현을 생성하여 기존 ID 기반 패러다임을 대체하고, 전이 가능한 ‘만능 추천 모델’의 토대가 될 수 있는지에 대한 핵심 질문에 답하고자 합니다. 실험 결과, 모델 규모 확장에 따른 성능 향상은 한계가 있으며, LLM 기반 TCF가 비 cold-start 시나리오에서 전통적인 IDCF를 완전히 대체하기에는 아직 도전 과제가 남아 있음을 보여줍니다.

상세 분석

본 논문의 핵심 기술적 분석은 다음과 같은 네 가지 주요 질문(Q1-Q4)에 대한 실험적 탐구를 중심으로 진행됩니다.

첫째, 아이템 인코더의 규모 확장이 추천 성능에 미치는 영향(Q1)을 DSSM 및 SASRec 아키텍처 하에서 MIND, HM, Bili 데이터셋으로 평가했습니다. 핵심 발견은 규모 확장에 따른 성능 향상이 한계가 있다는 것입니다. 초기에는 파라미터 수 증가(예: 1억에서 30억)가 성능(Recall, NDCG)을 크게 향상시켰지만, 약 100억 파라미터를 넘어서면서 향상 폭이 현저히 줄어들거나 정체되었습니다. 이는 추천 시스템이 단순한 텍스트 이해를 넘어 사용자-아이템 상호작용 패턴이라는 복잡한 과제를 학습해야 하기 때문으로 해석됩니다. 아이템 인코더만의 극단적 확장은 사용자 선호도 모델링이라는 다른 핵심 요소의 병목 현상을 해결하지 못합니다.

둘째, 1000억 파라미터가 넘는 LLM이 추천 작업을 위한 보편적인 아이템 표현을 생성할 수 있는지(Q2)를 검증했습니다. 실험 결과, 사전 학습된 LLM(특히 175B 규모)에서 추출한 텍스트 임베딩은 다양한 도메인(뉴스, 패션, 비디오)에서 일관된 품질을 보였으며, 이는 LLM이 도메인 불문하고 의미론적으로 풍부한 아이템 표현을 학습할 잠재력이 있음을 시사합니다. 그러나 이 표현이 ‘보편적’이기 위해서는 다운스트림 추천 작업에서의 효과적 전이 가능성이 함께 입증되어야 합니다.

셋째, LLM 기반 TCF가 전통적인 ID 기반 협업 필터링(IDCF)을 능가할 수 있는지(Q3), 특히 충분한 상호작용 데이터가 있는 ‘웜 아이템’ 추천에서 검토했습니다. 놀랍게도, 175B LLM을 사용한 TCF 모델도 IDCF의 성능을 일관되게 넘어서지 못했습니다. IDCF는 아이템 ID 임베딩이 사용자-아이템 상호작용 그래프의 복잡한 패턴을 직접적으로 암묵적으로 인코딩하는 데 매우 효율적이기 때문입니다. 반면, TCF는 텍스트 의미론과 상호작용 패턴 사이의 간극을 메워야 하는 추가적인 과제를 안고 있습니다. 이는 현재 TCF 패러다임이 비 cold-start 설정에서 ID 패러다임을 근본적으로 대체하기에는 어려움이 있음을 의미하는 중요한 발견입니다.

넷째, TCF가 전이 학습과 “한 모델로 모두 적합” 보편 모델에 얼마나 근접했는지(Q4)를 대규모 Bili8M 데이터셋에서 사전 학습한 모델을 다른 데이터셋에 적용하는 제로샷 및 파인튜닝 실험으로 평가했습니다. 결과는 제한된 긍정성을 보였습니다. 대규모 데이터로 사전 학습된 TCF 모델은 제로샷 설정에서 기본적인 성능을 발휘했고, 타겟 데이터셋에 대한 소량의 파인튜닝으로 성능이 크게 향상되었습니다. 이는 TCF가 도메인 간 지식 전이의 가능성을 열어주지만, 현재의 성능은 여전히 타겟 도메인의 상호작용 데이터로 직접 학습된 IDCF나 전문적으로 파인튜닝된 TCF에 미치지 못합니다.

종합적으로, 이 연구는 TCF 패러다임에 대한 냉철한 평가를 제공합니다. LLM의 규모 확장은 유의미한 성능 향상을 가져오지만 한계가 명확하며, 특히 성숙한 비 cold-start 시나리오에서 IDCF의 강력함을 완전히 대체하기는 어렵습니다. 그러나 LLM 기반의 풍부한 텍스트 표현은 cold-start 문제 완화와 도메인 전이 가능성에서 중요한 가치를 지니며, 이는 하이브리드 접근법(ID + 텍스트 특징)이나 보다 통합된 추천 모델 아키텍처에 대한 필요성을 시사합니다.