중간층 자체 하드 네거티브로 강화하는 LLM 기반 추천

초록

ILRec은 대형 언어 모델(LLM)의 중간 층에서 추출한 토큰 수준의 자체 하드 네거티브를 활용해 순차 추천을 개선하는 프레임워크이다. 교차‑층 선호 최적화와 교차‑층 선호 증류를 결합하고, 경량 협업 필터링 모델로 토큰별 보상을 조정해 과도한 페널티를 방지한다. 실험 결과, 기존 시퀀스‑레벨 네거티브 방식보다 정확도와 효율성이 크게 향상된다.

상세 분석

ILRec은 기존 LLM 기반 추천 시스템이 직면한 세 가지 핵심 문제—네거티브 샘플의 무차별성, 정보 부족, 그리고 학습 효율성 저하—를 동시에 해결한다. 첫 번째로, 모델의 중간 층(L‑k, L‑k‑1 … L‑1)을 “약한 전문가”로 간주하고, 이들 층이 생성한 로짓을 평균화해 앙상블 로짓을 만든다. 여기서 높은 확률을 보이지만 정답 토큰이 아닌 단어들을 자체 하드 네거티브로 선정한다. 이 과정은 토큰 수준에서 수천 개에 달하는 후보 아이템을 동시에 고려하게 하여, 대규모 아이템 공간에서도 미세한 선호 차이를 학습하도록 만든다.

두 번째로, 교차‑층 선호 최적화(CPO)는 이러한 네거티브 토큰에 대해 출력 층의 교차 엔트로피 손실에 가중 페널티를 부여한다. 기존 DPO와 달리 시퀀스 전체에 동일한 보상을 주는 것이 아니라, 토큰별 확률 차이를 직접 반영함으로써 모델이 “어떤 토큰이 왜 부정적인가”를 명확히 학습한다.

세 번째로, 교차‑층 선호 증류(CPD)는 최종 출력 층을 교사 모델로 삼아 중간 층의 토큰 분포를 KL‑다이버전스로 정규화한다. 이는 중간 층이 생성한 네거티브가 지나치게 부정확하거나 잡음이 될 경우, 최종 층의 신뢰할 만한 신호로 교정해 네거티브의 품질을 보장한다.

또한, ILRec은 경량 협업 필터링(CF) 모델을 도입해 각 네거티브 토큰에 사용자‑아이템 상호작용 기반의 보상을 할당한다. 이 보상은 토큰이 실제로 사용자가 선호하지 않을 가능성을 정량화하며, 과도한 페널티로 인한 false‑negative 문제를 완화한다.

실험에서는 세 개의 공개 시퀀스 추천 데이터셋(예: Amazon, MovieLens, 그리고 자체 수집 데이터)에서 HR@10, NDCG@10 등 표준 지표를 사용했다. ILRec은 기존 SFT+ DPO 대비 평균 47%의 성능 향상을 보였으며, 특히 아이템 수가 수만 개에 달하는 경우 토큰‑레벨 네거티브가 시퀀스‑레벨 네거티브보다 훨씬 높은 구분력을 제공한다. 학습 시간도 중간 층에서의 네거티브 추출이 한 번의 순전파로 이루어지므로, 별도의 롤아웃이나 대규모 샘플링 단계가 필요 없어 전체 파이프라인이 2030% 가량 가속화되었다.

이러한 설계는 LLM이 내부적으로 “예측 단계별 자신감”을 스스로 평가하고, 그 정보를 학습에 재활용한다는 점에서 기존 외부 샘플링 방식과 근본적으로 차별화된다. 또한, 토큰‑레벨 페널티와 CF 기반 보상의 결합은 모델이 사용자 선호를 보다 정교하게 캡처하도록 돕는다.

요약하면, ILRec은 (1) 중간 층을 활용한 동적 네거티브 생성, (2) 교차‑층 손실 설계, (3) 협업 필터링 보상이라는 세 축을 통해 LLM 기반 순차 추천의 정확도와 효율성을 동시에 끌어올린 혁신적인 프레임워크라 할 수 있다.