LLM 직접 추천, 정말 최선일까? 텍스트 임베딩 모델이 제시하는 새로운 가능성

초록

본 연구는 학습 데이터가 전혀 없는 상황에서, 특히 사용자 상호작용 기록이 없는 극한의 ‘학습 없는 콜드스타트 추천(TFCSR)’ 환경에서 대규모 언어 모델(LLM)과 텍스트 임베딩 모델(TEM)의 성능을 최초로 체계적으로 비교했다. 실험 결과, LLM을 직접 순위 생성기로 사용하는 방식보다 텍스트 임베딩 기반 유사도 계산 방식이 더 높은 정확도를 보였으며, 이는 사용자 기록이 풍부한 일반적인 환경에서도 유지되는 경향이었다. 이는 학습 없는 추천에 LLM 직접 사용이 유일한 효과적 방법이라는 통념을 깨고, TEM 기반 접근법이 더 강력하고 확장 가능한 기반이 될 수 있음을 시사한다.

상세 분석

이 연구의 핵심은 추천 시스템 연구에서 상대적으로 소외되었던 ‘학습 없는 콜드스타트’ 문제에 대한 실질적인 방법론 비교에 있다. 기존 연구는 학습 데이터가 없거나 사용자 기록이 부족한 두 조건 중 하나만을 주로 다뤘으나, 본 연구는 두 조건이 동시에 적용되는 가장 실용적이면서도 어려운 시나리오(TFCSR)에 집중했다.

기술적 분석의 핵심은 다음과 같다.

1. 평가 프레임워크의 정교함: 사용자 상호작용 수(m)에 따라 협의 콜드스타트(m=0), 광의 콜드스타트(m=1~5), 웜스타트로 명확히 구분하고, 동일한 조건(후보 아이템 50개, 평가용 양성 샘플 3개)에서 모든 방법론을 평가했다. 이는 LLM의 입력 길이 제한으로 인해 소규모 후보 집합만 평가되던 기존 연구의 한계를 극복한 설계다.
2. TEM의 우수성 메커니즘: 실험 결과, Qwen3-Embedding-8B, gte-Qwen2-7B-instruct와 같은 최신 TEM이 대부분의 데이터셋과 설정에서 LLM 리랭커(gpt-4.1, Qwen3-8B)를 크게 앞섰다. 특히 흥미로운 점은 Qwen3-Embedding-8B TEM이 동일한 기반 LLM인 Qwen3-8B 리랭커보다 훨씬 성능이 좋았다는 것이다. 이는 LLM의 지식과 추론 능력이 순위 생성이라는 복잡한 작업보다는 고품질 임베딩 공간을 구축하는 데 더 효과적으로 활용될 수 있음을 시사한다.
3. LLM 리랭커의 한계: LLM 리랭커는 개별 아이템의 관련성은 판단할 수 있지만, 전체 후보 집합에 대한 일관된 순위를 생성하는 데 취약한 것으로 나타났다. 이는 LLM이 프롬프트 내 아이템 순서에 민감한(order sensitivity) 문제와 대규모 후보 집합을 처리하는 데 따른 복잡성 증가에서 기인한 것으로 보인다.
4. TEM의 진화 중요성: 모든 TEM이 좋은 성능을 보인 것은 아니다. gte-modernbert-base와 같은 LLM 감독 학습 없이 훈련된 오래된 TEM은 간단한 키워드 매칭 기법(BM25)보다 성능이 낮은 경우도 있었다. 이는 단순히 TEM을 사용하는 것보다, 최신 LLM으로 생성된 데이터로 학습된 고품질 임베딩 모델의 중요성을 강조한다.

결론적으로, 이 연구는 학습 없는 추천이라는 문제에 대해 LLM을 ‘이용하는’ 방법(임베딩 생성)과 LLM을 ‘대체하는’ 방법(직접 순위 생성) 사이의 명확한 성능 차이를 입증했다. 이는 향후 연구와 실제 시스템 구축에 있어 비용, 지연 시간, 확장성 측면에서 TEM 기반 접근법이 보다 현실적인 해결책이 될 수 있음을 가리킨다.