LLM 기반 대비 학습 연합 순차 추천

초록

LUMOS는 클라이언트에 탑재된 대형 언어 모델을 활용해 사용자 행동 시퀀스의 미래 연장, 의미 보존 패러프레이즈, 그리고 선호와 반대되는 반사실적 부정 시퀀스를 자동 생성하고, 이를 삼중 뷰 대비 학습에 통합함으로써 연합 순차 추천의 정확도와 견고성을 크게 향상시킨다.

상세 분석

본 논문은 연합 학습 환경에서 순차 추천 모델이 직면하는 데이터 희소·노이즈·동질성 문제를 LLM을 이용한 시퀀스 생성으로 근본적으로 해결하고자 한다. 핵심 아이디어는 ‘파라미터 격리’ 구조를 유지하면서, 각 클라이언트가 사전 학습된 LLM을 로컬에서 호출해 세 종류의 보조 시퀀스를 만든다. 첫 번째는 현재 시퀀스 뒤에 이어질 가능성이 높은 아이템들을 예측하는 ‘미래 지향 시퀀스’이며, 두 번째는 아이템 명칭이나 순서를 바꾸되 사용자의 의도를 유지하는 ‘패러프레이즈 시퀀스’이다. 세 번째는 사용자의 실제 선호와는 반대되는 행동을 모사한 ‘반사실 부정 시퀀스’로, 대비 학습에서 강력한 네거티브 샘플 역할을 한다. 이렇게 생성된 네 개의 시퀀스(원본 + 3가지 변형)를 동일한 백본(예: SASRec, GRU4Rec)으로 인코딩해 각각 h, h_F, h_P, h_N을 얻는다.

그 후 삼중 뷰 대비 손실을 정의한다. 원본을 앵커로 삼고 미래·패러프레이즈 시퀀스를 양성(pairwise)으로, 반사실 시퀀스를 음성으로 취해 InfoNCE 형태의 대비 학습을 수행한다. 이 과정은 완전히 클라이언트 내부에서 이루어지며, 서버에는 모델 파라미터 업데이트만 전송한다. 따라서 원본 데이터·LLM 프롬프트·생성 텍스트는 절대로 외부로 유출되지 않아 개인정보 보호 요구를 충족한다.

실험에서는 3개의 공개 데이터셋(예: Amazon, MovieLens, Gowalla)을 사용해 HR@20, NDCG@20 기준으로 기존 연합 순차 추천( FedAvg, FedCL, FedRec 등) 및 중앙집중식 대비 학습 모델보다 일관된 성능 향상을 기록한다. 특히 사용자 기록이 5개 이하인 극히 희소한 상황에서 LUMOS의 이득이 두드러지며, 노이즈가 섞인 데이터나 적대적 공격 시에도 견고성을 유지한다.

기술적 기여는 크게 세 가지이다. ① LLM을 로컬 시퀀스 생성기라 활용해 데이터 증강을 수행하면서 연합 프로토콜을 변경하지 않는다. ② 미래·패러프레이즈·반사실이라는 의미적으로 서로 다른 세 뷰를 결합한 삼중 대비 학습 프레임워크를 제안한다. ③ 파라미터 격리와 로컬 생성 방식을 통해 기존 대비 학습이 요구하던 임베딩 교환·통계 공유 등 프라이버시 위험을 완전히 제거한다.

이러한 설계는 LLM이 제공하는 풍부한 언어·지식 기반을 연합 추천에 직접 연결함으로써, 향후 개인화 서비스가 데이터 보호와 모델 성능 사이의 트레이드오프를 최소화할 수 있는 새로운 패러다임을 제시한다.