생성형 추천의 편향 증폭을 막는 계단식 추론 프레임워크

초록

본 논문은 현재 생성형 추천(Generative Recommendation, GR) 모델이 토큰 생성 과정에서 인기 토큰에 대한 편향을 점차 확대하는 ‘편향 증폭’ 문제를 지적한다. 이를 해결하기 위해 저자들은 이질적인 사용자 히스토리 정보를 단계적으로 활용하고, 각 토큰 생성 단계마다 추가 연산을 투입하는 두 가지 메커니즘을 결합한 CARE(Cascaded Reasoning) 프레임워크를 제안한다. CARE를 세 가지 GR 백본에 적용한 실험 결과, 정확도·다양성·효율성 모두에서 기존 방법을 크게 능가함을 확인하였다.

상세 분석

본 연구는 생성형 추천 모델이 토큰 단위로 아이템을 생성하면서 초기 토큰에서는 비교적 넓은 사용자 관심을 포착하고, 이후 토큰에서는 점점 세밀한 의미를 반영한다는 점을 ‘계단식 랭킹’에 비유한다. 그러나 기존 GR은 모든 토큰 단계에서 동일한 인코딩된 히스토리(𝑋)를 재사용하고, 고정된 연산량(단일 포워드 패스)만을 적용한다. 이러한 설계는 두 가지 근본적인 한계를 만든다. 첫째, ‘동질적 정보’ 사용으로 인해 모델이 사용자 선호의 미세한 차이를 파악하지 못하고, 인기 토큰에 과도하게 의존하게 된다. 둘째, ‘고정 연산’ 구조는 토큰이 세밀해질수록 필요한 복잡한 상호작용을 제공하지 못해 편향이 누적된다. 저자들은 이를 해결하기 위해 두 축을 제시한다. ① 이질적 정보 통합: ‘진보적 히스토리 인코딩(Progressive History Encoding)’을 도입해 토큰이 진행될수록 더 풍부하고 세밀한 히스토리 정보를 점진적으로 포함한다. 이를 위해 단계별 어텐션 마스크를 설계해 초기 단계에서는 코스그레인 히스토리만, 후반 단계에서는 전체 히스토리를 활용하도록 한다. ② 연산량 확대: ‘쿼리‑앵커드 추론(Query‑Anchored Reasoning)’을 통해 각 토큰 생성 전 다중 포워드 패스를 병렬로 수행한다. 이때 쿼리 벡터는 현재 토큰 후보를 중심으로 생성되며, 여러 추론 스텝이 서로 다른 관점을 제공해 다양성을 촉진한다. 또한 ‘다양성 손실(Diversity Loss)’을 도입해 서로 다른 추론 스텝 간의 출력 분포를 의도적으로 차별화시켜, 빈도수가 낮은 토큰이 선택될 확률을 높인다. CARE는 이러한 두 메커니즘을 결합해 기존 GR의 편향 증폭을 억제하고, 사용자 맞춤형 아이템을 보다 다양하게 생성한다. 실험에서는 TIGER, LETTER, SETRec 등 세 가지 백본 모델에 CARE를 적용했으며, 네 개의 실제 데이터셋(예: Kuaishou, Douyin 등)에서 Recall@5, NDCG, 다양성 지표(ILD) 등에서 기존 모델 대비 평균 12%~18% 향상을 기록했다. 특히 연산 효율성 면에서 추가적인 추론 스텝이 병렬화되어 전체 지연시간이 5% 이하로 증가하는 수준에 머물렀다. 이는 실시간 추천 서비스에 적용 가능한 수준이다. 또한 스케일링 실험에서 토큰 수가 증가해도 성능 저하 없이 안정적인 개선을 보였으며, 모델 파라미터 수와 FLOPs 대비 효율이 기존 GR 대비 1.4배 이상 향상되었다. 전반적으로 CARE는 ‘다양한 히스토리 활용’과 ‘동적 연산 할당’이라는 두 축을 통해 생성형 추천의 핵심 약점을 보완하고, 편향 억제와 다양성 확보라는 목표를 동시에 달성한다는 점에서 의미가 크다.