다음세대 추천 시스템을 위한 LLM 기반 개인화 어시스턴트 벤치마크

초록

본 논문은 대형 언어 모델(LLM)을 활용한 개인화 추천 어시스턴트를 평가하기 위한 새로운 벤치마크 데이터셋 RecBench+를 제안한다. 약 3만 개의 복합 사용자 질의를 조건 기반·프로필 기반으로 구분하여 생성하고, GPT‑4o, Gemini‑1.5‑Pro, DeepSeek‑R1 등 7개 LLM을 실험한다. 결과는 LLM이 명시적 조건에는 강하지만, 다중 단계 추론이나 오정보가 포함된 질의에서는 성능이 떨어짐을 보여준다.

상세 분석

본 연구는 기존 추천 시스템이 “이 아이템을 본 사람도 이 아이템을 보았다”와 같은 고정된 시나리오에 국한되는 한계를 지적하고, LLM의 자연어 이해·생성 능력을 활용해 인터랙티브하고 복합적인 사용자 요구를 처리할 수 있는 새로운 패러다임을 제시한다. 이를 위해 저자들은 두 가지 주요 질의 유형을 정의한다. 첫 번째는 조건 기반 질의로, 명시적(Explicit), 암시적(Implicit), 오정보(Misinformed) 세 하위 카테고리로 나뉜다. 명시적 질의는 사용자가 직접 “스티븐 스필버그 감독의 영화”처럼 구체적인 제약을 제시하는 경우이며, 비교적 직관적인 매핑이 가능하다. 암시적 질의는 “‘Stay Hungry’와 같은 촬영감독이 만든 영화”처럼 중간 단계의 엔티티를 추론해야 하므로 다중 홉(reasoning) 능력이 요구된다. 오정보 질의는 사용자가 잘못된 사실을 제시했을 때, 모델이 이를 식별·수정하고 적절한 추천을 제공해야 하는 상황이다. 두 번째는 프로필 기반 질의로, 사용자의 관심사(Interest‑Based)와 인구통계(Demographics‑Based) 정보를 활용한다. 여기서는 사용자의 과거 시청·구매 기록, 성별·직업 등 정적인 속성을 종합해 개인화된 추천을 생성한다.

데이터셋 구축 과정에서는 MovieLens‑1M과 Amazon‑Book을 원천으로 삼아, 각각 영화·도서 도메인에 대해 30,000여 개의 질의를 자동·수동으로 생성하였다. 각 질의는 해당 아이템 메타데이터와 사용자‑아이템 상호작용 로그를 기반으로 하며, 질의 난이도와 오류 유형을 라벨링했다. 통계적으로는 영화 도메인에 19,529개, 도서 도메인에 14,965개의 질의가 포함되며, 사용자 수는 각각 6,036명·48,535명, 아이템 수는 3,247개·50,088개에 달한다.

실험에서는 사전 학습된 상용 LLM(GPT‑4o, Gemini‑1.5‑Pro, DeepSeek‑R1)과 오픈소스 모델을 그대로 사용한 경우와, 두 단계 파인튜닝(Supervised Fine‑Tuning → Reinforcement Fine‑Tuning)을 적용한 경우를 비교하였다. 평가 지표는 정확도(Accuracy), 정밀도·재현율, 그리고 질의 유형별 성공률을 포함한다. 주요 결과는 다음과 같다. (1) 모든 모델이 조건 기반 명시적 질의에서 높은 성능을 보였으며, 특히 GPT‑4o와 DeepSeek‑R1이 90% 이상 정확도를 기록했다. (2) 암시적·오정보 질의에서는 성능 격차가 크게 나타났으며, Gemini‑1.5‑Pro가 상대적으로 추론 능력이 뛰어나 다중 홉 질의에서 우수했다. (3) 파인튜닝을 적용한 모델은 전반적으로 5~12%p 성능 향상을 보였으며, 특히 SFT 단계가 모델을 질의 형식에 적응시키는 데 중요한 역할을 했다. (4) 프로필 기반 질의에서는 사용자 성별·연령 등 인구통계 정보를 활용한 경우, 여성 사용자에 대한 추천 정확도가 남성보다 평균 3%p 높았다. 이는 모델이 사회문화적 편향을 내포하고 있음을 시사한다.

한계점으로는 질의 생성 과정에서 자동화된 템플릿 의존도가 높아 실제 사용자 대화와의 차이가 존재할 수 있다는 점, 그리고 도메인(영화·도서) 외의 다른 분야(음악·패션 등)에 대한 일반화 검증이 부족하다는 점을 들 수 있다. 또한, 오정보 질의에 대한 정밀한 오류 식별 메커니즘이 아직 미비하여, 실제 서비스 적용 시 위험 요소가 될 가능성이 있다.

향후 연구 방향은 (①) 실시간 사용자 피드백을 반영한 온라인 학습 프레임워크 구축, (②) 멀티모달(텍스트·이미지·음성) 정보를 통합한 질의 생성 및 응답 모델 개발, (③) 다양한 문화·언어권 사용자 데이터를 포함해 공정성·편향 분석을 심화하는 것이다. 이러한 확장은 LLM 기반 추천 어시스턴트를 실제 상업 서비스에 적용하기 위한 필수 단계가 될 것이다.