협업 필터링 오프라인 평가 편향 감소를 위한 가중치 기법

초록

본 논문은 추천 시스템에서 과거 로그를 이용한 오프라인 평가가 실제 서비스에 의해 발생하는 피드백 루프 때문에 편향될 수 있음을 지적한다. 저자는 아이템별 가중치를 적용해 시간 0의 아이템 마진 분포를 유지하도록 조정함으로써, 협업 필터링 알고리즘의 평가 편향을 감소시키는 방법을 제안한다. Viadeo 데이터셋을 이용한 실험에서 가중치 최적화(p값)를 늘릴수록 평가 점수의 급격한 변동이 완화되는 것을 확인했으며, 완전한 정적 점수 유지는 어려우나 기존 오프라인 평가보다 편향이 크게 줄어듦을 보였다.

상세 분석

오프라인 평가가 추천 알고리즘 선택에 널리 사용되는 이유는 실시간 실험 없이도 다양한 모델을 빠르게 비교할 수 있기 때문이다. 그러나 실제 서비스에서는 알고리즘이 사용자 행동을 직접 유도하고, 그 결과가 로그에 반영되어 다음 평가에 사용된다. 이와 같은 피드백 루프는 로그의 아이템·사용자 분포를 시간에 따라 변화시키며, 특히 특정 캠페인이나 프로모션이 진행될 경우 특정 아이템이 과도하게 노출되어 로그에 편향이 축적된다. 논문은 이러한 현상을 “오프라인 평가 편향”이라 정의하고, 기존 연구들이 제시한 무작위 추천 기반 데이터 수집 방식이 비즈니스 이미지와 매출에 부정적 영향을 미칠 수 있음을 지적한다.

제안된 해결책은 아이템 마진 분포 (P_t(i)) 를 시간 0의 분포 (P_0(i)) 와 일치시키는 가중치 (\omega_i) 를 도입하는 것이다. 구체적으로 조건부 확률 (P_t(i|u)) 를 (\omega_i) 로 재조정하여 새로운 확률 (P_t(i|u,\omega)=\frac{\omega_i P_t(i|u)}{\sum_j \omega_j P_t(j|u)}) 를 만든다. 이때 전체 아이템 분포는 (P_t(i|\omega)=\sum_u P_t(i|u,\omega)P_t(u)) 로 정의된다. 가중치는 KL‑다이버전스 (D(\omega)=\sum_i P_0(i)\log\frac{P_0(i)}{P_t(i|\omega)}) 를 최소화하도록 최적화한다. 여기서 비대칭 KL을 사용한 이유는 시간 0을 기준점으로 삼아 희소 아이템의 영향력을 감소시키기 위함이다.

실험은 프랑스의 전문 소셜 네트워크 Viadeo에서 수집한 18 294명의 사용자와 180개의 스킬(아이템) 데이터를 이용했다. 두 종류의 협업 필터링 알고리즘, 즉 코사인 유사도 기반 CF와 “naive CF”(사용자 집합 교차 비율 기반)를 적용하고, 20 000개의 (사용자, 아이템) 샘플을 무작위 추출해 오프라인 점수를 추정했다. 가중치 최적화 파라미터 p(최적화할 아이템 수)를 0, 10, 25, 50, 100, 150으로 변화시켰으며, 300일~500일 구간에 두 차례의 추천 캠페인이 진행된 시점을 관찰했다. 결과는 캠페인 직후 점수가 급락하는 현상이 가중치가 클수록 완화됨을 보여준다. 특히 코사인 유사도 기반 CF는 p가 커질수록 점수 변동이 크게 감소했지만, 완전한 정적 점수 유지는 불가능했다. 이는 협업 필터링이 사용자 간 상관관계에 의존하기 때문에, 캠페인으로 인한 사용자 행동 변화가 모델 자체에 영향을 미치기 때문이다.

결론적으로, 아이템 가중치 기반 재조정은 기존 오프라인 평가가 과대·과소 평가하는 현상을 부분적으로 해소한다. 그러나 구조적 편향(사용자 관계 변화)까지 완전히 제거하려면 추가적인 방법론이 필요하다. 향후 연구에서는 사용자 가중치 도입, 동적 모델링, 혹은 온라인‑오프라인 혼합 평가 프레임워크 등을 탐색할 여지가 있다.