단계 적응형 충돌 인식 증분 순차 추천

초록

SA‑CAISR는 기존의 재생 기반·정규화 기반 증분 학습의 한계를 극복하기 위해, 과거 모델과 신규 데이터 사이의 파라미터 수준 충돌을 Fisher 정보로 정량화하고, 충돌이 큰 파라미터를 선택적으로 마스킹하는 버퍼‑프리 프레임워크이다. 이를 통해 메모리 사용량을 97 % 이상 절감하고 학습 시간을 절반 이하로 단축하면서, Recall@20을 평균 2 % 향상시킨다.

상세 분석

본 논문은 순차 추천 시스템이 실시간으로 사용자 선호의 변화를 반영해야 하는 상황에서, 기존 증분 학습 방법이 갖는 두 가지 근본적인 문제—(1) 재생 기반 방법의 높은 메모리·연산 비용과 개인정보 위험, (2) 정규화 기반 방법이 과거 모델을 고정된 교사로만 활용해 새로운 데이터와의 분포 이동을 적절히 반영하지 못한다—를 정확히 짚어낸다. SA‑CAISR는 ‘버퍼‑프리’ 설계라는 핵심 아이디어를 통해 과거 데이터 저장을 완전히 배제하고, 오직 이전 모델 파라미터와 최신 인터랙션만을 이용한다.

핵심 메커니즘은 Fisher‑weighted knowledge‑screening이다. 먼저 새 데이터에 대해 로그우도(Likelihood)의 2차 미분을 이용해 Fisher 정보를 추정하고, 각 파라미터가 현재 데이터에 얼마나 민감한지를 수치화한다. 이어서 이전 모델 파라미터와 새 데이터 간의 ‘충돌 점수’를 계산한다. 충돌 점수가 높은 파라미터는 과거 지식이 현재 트렌드와 상충한다는 신호로 해석되어 마스크(mask) 처리되고, 반대로 낮은 점수의 파라미터는 그대로 유지된다. 이 과정은 단계‑적응(stage‑adaptive) 방식으로 수행되며, 각 업데이트 단계마다 충돌 정도가 동적으로 재평가된다.

또한, 단순히 파라미터를 고정하거나 억제하는 것이 아니라, InfoNCE 기반의 일관성 손실을 도입해 ‘정제된 교사 모델’과의 표현 정렬을 강제한다. 여기서 정제된 교사는 Fisher 마스크를 적용한 후의 이전 모델이며, 이는 과거 지식 중 현재와 호환되는 부분만을 남긴다. 따라서 새로운 모델은 (i) 최신 데이터에 대한 교차 엔트로피 손실로 새로운 선호를 학습하고, (ii) 정제된 교사와의 대조 손실로 호환 가능한 과거 패턴을 보존한다.

실험에서는 four public benchmark datasets(예: Beauty, Sports, Toys, Yelp)에서 최신 재생 기반·정규화 기반 방법들을 모두 능가함을 보였다. 특히 메모리 사용량이 97.5 % 감소하고, 학습 시간은 평균 46.9 % 단축되는 동시에 Recall@20, MRR@20, NDCG@20 모두 2 % 이상 향상되었다. 이는 파라미터 수준에서 충돌을 정밀하게 탐지하고, 불필요한 지식을 과감히 제거함으로써 안정성(stability)과 가소성(plasticity) 사이의 트레이드오프를 최적화한 결과이다.

또한, 논문은 기존 Fisher 기반 마스킹 기법(FGGM)과의 차별점을 명확히 제시한다. FGGM은 정적 분류 작업에 초점을 맞추었으나, SA‑CAISR는 순차 추천이라는 시계열·사용자‑아이템 상호작용 특수성을 고려해 단계‑적응형 마스크와 대조 손실을 결합함으로써, 사용자 선호 드리프트와 신규 아이템 등장에 대한 즉각적인 대응을 가능하게 한다.

요약하면, SA‑CAISR는 (1) 버퍼‑프리 설계로 개인정보와 저장 비용을 최소화하고, (2) Fisher 정보를 활용한 동적 충돌 인식으로 과거 지식의 선택적 폐기를 구현하며, (3) 정제된 교사와의 대조 학습으로 호환성 있는 지식을 유지한다는 세 가지 혁신을 통해, 실시간 대규모 추천 시스템에 적합한 효율적·고성능 증분 학습 프레임워크를 제시한다.