SimGR LLM 기반 추천의 생성 디코딩 함정 탈피

초록

본 논문은 기존 LLM 기반 생성 추천 시스템이 토큰 수준의 생성 방식을 사용함으로써 아이템 수준 선호 분포를 왜곡한다는 문제를 지적한다. 자동회귀와 병렬 생성 모두 토큰 독립성 가정 혹은 빔 서치 제한으로 인한 불완전한 커버리지를 초래한다. 이를 해결하기 위해 아이템을 직접 모델링하는 SimGR 프레임워크를 제안하고, 공유 잠재 공간에서 사용자와 아이템을 임베딩해 유사도 기반으로 순위를 매긴다. 실험 결과, 다양한 데이터셋과 LLM 백본에서 SimGR이 기존 방법을 일관되게 능가함을 보인다.

상세 분석

논문은 먼저 LLM 기반 생성 추천이 “아이템 → 토큰 시퀀스” 매핑을 전제로 한다는 점을 명확히 한다. 이 매핑은 각 아이템을 고유한 토큰 시퀀스로 변환하는 전처리 단계이며, 이후 모델은 토큰을 순차적으로 혹은 병렬적으로 생성한다. 자동회귀 방식에서는 체인 룰에 따라 토큰 확률을 곱해 시퀀스 확률을 계산하지만, 실제 추론 시 빔 서치를 사용해 후보 시퀀스를 제한한다. 빔 크기가 제한적이면 많은 유효 아이템이 탐색되지 못하고, 결과적으로 아이템 수준 확률 분포가 불완전하게 된다. 논문은 실험적으로 빔 크기를 변화시켰을 때 Top‑5 겹침 비율이 크게 달라짐을 보여, 빔 서치가 아이템 커버리지를 크게 좌우함을 증명한다. 또한 이론적 분석을 통해 빔 크기 B에 대한 기대 겹침 상한을 도출하고, 토큰 레벨 순위 Rℓ(i,u)가 B 이하일 확률이 전체 겹침을 제한한다는 수식을 제시한다.

병렬 생성 방식은 한 번의 포워드 패스로 모든 토큰 위치의 마진 확률을 출력하고, 이를 곱해 시퀀스 확률을 근사한다. 이때 토큰 간 독립성을 가정하게 되므로, 실제 아이템 시퀀스가 갖는 구조적 의존성을 무시한다. 결과적으로 모든 아이템이 커버되더라도 확률값이 왜곡되어, 높은 순위에 있어야 할 아이템이 낮게 평가되는 현상이 발생한다. 논문은 이러한 왜곡을 정량적으로 분석하고, 토큰 독립성 가정이 아이템 수준 확률에 미치는 영향을 실험적으로 확인한다.

핵심 인사이트는 “아이템 수준 선호 분포를 직접 모델링하지 않으면, 토큰 수준 생성은 근본적인 모델링 불일치(mismatch)를 야기한다”는 점이다. 따라서 아이템을 토큰 시퀀스로 변환하는 전처리 자체가 불필요하거나 오히려 해로울 수 있다. 이를 해결하기 위해 제안된 SimGR은 아이템을 고정된 토큰 시퀀스로 변환하지 않고, 사용자와 아이템을 동일한 잠재 공간에 임베딩한다. 아이템 임베딩은 LLM이 학습한 의미론적 정보를 그대로 활용하면서도, 아이템을 원자 단위로 취급한다. 추천은 사용자의 임베딩과 아이템 임베딩 간 코사인 유사도 혹은 내적을 계산해 전체 아이템 풀에서 가장 유사한 상위 N개를 선택하는 방식이다. 이 접근법은 (1) 아이템 수준 확률을 직접 추정하므로 토큰 독립성 가정이 사라지고, (2) 빔 서치와 같은 복잡한 디코딩 절차가 필요 없으며, (3) 전체 아이템에 대한 완전한 커버리지를 보장한다는 장점을 가진다.

실험에서는 MovieLens, Amazon, 그리고 도메인 특화 데이터셋 등 5개 이상의 공개 데이터와 LLaMA‑7B, LLaMA‑13B, GPT‑NeoX 등 다양한 규모의 LLM을 백본으로 사용하였다. 평가 지표는 NDCG@10, Recall@20, 그리고 아이템 커버리지 등을 포함했으며, 모든 설정에서 SimGR이 기존 자동회귀(TIGER, LC‑Rec)와 병렬(RPG, LLaD‑A‑Rec) 방식보다 평균 4.2%~9.7% 높은 성능을 기록했다. 특히 빔 크기를 10으로 제한했을 때도 SimGR은 전체 아이템을 탐색하므로 성능 저하가 거의 없었으며, 추론 시간도 기존 방법보다 1.5배 가량 빠르게 측정되었다.

결론적으로, 논문은 토큰 수준 생성이 아이템 수준 추천에 적합하지 않다는 이론적·실증적 근거를 제시하고, SimGR이라는 새로운 프레임워크를 통해 모델링 목표와 추천 목표를 일치시킴으로써 생성 디코딩의 함정을 효과적으로 탈피한다는 점을 입증한다.