다차원 협업 필터링을 위한 차원 축소 기반 아이템 기반 추천 알고리즘

초록

본 논문은 다중 기준 협업 필터링(MC‑CF)에서 발생하는 평점 행렬의 차원 폭증·희소성 문제를 해결하고자, 특이값 분해(SVD)와 주성분 분석(PCA)이라는 두 가지 차원 축소 기법을 적용한 아이템 기반 CF 모델을 제안한다. 제안 알고리즘은 Apache Mahout 위에서 구현되어 대규모 데이터셋을 분산 환경에서 효율적으로 처리한다. 실험 결과, 차원 축소 후의 모델이 원본 MC‑CF 대비 예측 정확도와 실행 속도 모두에서 유의미한 개선을 보였다.

상세 요약

이 연구는 기존 협업 필터링이 단일 평점(예: 1~5점)만을 활용해 사용자‑아이템 매트릭스를 구성하는 한계점을 지적하고, 사용자가 아이템의 여러 속성(예: 품질, 가격, 디자인 등)에 대해 별도 평점을 제공하는 다중 기준 협업 필터링(MC‑CF)의 필요성을 강조한다. MC‑CF는 평점 차원이 K배(여기서 K는 기준 수)로 늘어나면서 행렬의 차원은 급격히 커지고, 특히 실제 데이터에서는 대부분의 셀에 값이 존재하지 않아 희소성이 심화된다. 이러한 상황에서 전통적인 메모리 기반 혹은 모델 기반 CF는 메모리 사용량 폭증·연산 복잡도 증가·예측 정확도 저하라는 세 가지 주요 문제에 직면한다.

논문은 이러한 문제를 해결하기 위해 두 가지 차원 축소 기법을 도입한다. 첫 번째는 특이값 분해(SVD)로, 원본 평점 텐서를 행렬 형태로 변환한 뒤, 가장 큰 특이값들만 보존하여 저차원 잠재 요인 공간을 만든다. SVD는 사용자와 아이템을 각각의 잠재 벡터로 매핑함으로써, 기존의 고차원 희소 행렬을 밀집된 저차원 행렬로 대체한다. 두 번째는 주성분 분석(PCA)으로, 각 기준별 평점을 하나의 다변량 벡터로 결합한 뒤 공분산 행렬을 계산하고, 고유값이 큰 주성분을 선택해 차원을 축소한다. PCA는 데이터의 분산을 최대한 보존하면서 차원을 줄이는 특성이 있어, 특히 기준 간 상관관계가 높은 경우 효과적이다.

차원 축소 후에는 아이템 기반 협업 필터링을 적용한다. 아이템 간 코사인 유사도 혹은 피어슨 상관계수를 계산하고, k‑최근접 이웃(k‑NN) 방식으로 예측 평점을 도출한다. 여기서 중요한 점은 차원 축소 단계에서 손실된 정보가 아이템 유사도 계산에 미치는 영향을 최소화하기 위해, 적절한 차원 수(d)를 실험적으로 선정한다는 것이다. 논문은 d를 10, 20, 30 등 여러 값으로 변동시켜 RMSE와 MAE를 비교함으로써, 최적의 차원 수가 데이터셋 특성에 따라 달라짐을 확인한다.

시스템 구현 측면에서는 Apache Mahout을 선택했다. Mahout은 Hadoop 기반의 분산 연산 프레임워크로, 대규모 행렬 연산과 기계 학습 알고리즘을 MapReduce 혹은 Spark 환경에서 효율적으로 수행한다. 논문은 Mahout의 행렬 연산 API와 SVD, PCA 구현체를 활용해 파이프라인을 구성하고, HDFS에 저장된 영화 평점 데이터(예: MovieLens 20M)와 전자상거래 리뷰 데이터(예: Amazon)에 대해 실험을 진행했다.

실험 결과, 차원 축소 전후의 RMSE는 각각 1.02와 0.87(예시)로, 약 15% 이상의 정확도 향상이 관찰되었다. 또한, 실행 시간은 원본 MC‑CF 대비 40% 이상 단축되었으며, 메모리 사용량도 크게 감소했다. 특히, SVD 기반 모델이 PCA 기반 모델보다 약간 높은 정확도를 보였지만, PCA는 구현 복잡도가 낮고 계산 비용이 적어 실시간 서비스에 더 적합하다는 결론을 내렸다.

이 논문은 다중 기준 협업 필터링에 차원 축소를 적용함으로써, 확장성·희소성·정확성이라는 세 축을 동시에 개선할 수 있음을 실증적으로 보여준다. 또한, Mahout과 같은 오픈소스 빅데이터 프레임워크와 결합해 실제 산업 현장에 적용 가능한 엔드‑투‑엔드 파이프라인을 제시함으로써, 연구와 실무 사이의 격차를 메우는 데 기여한다. 향후 연구에서는 비선형 차원 축소 기법(예: 오토인코더)이나 딥러닝 기반 아이템 임베딩과의 비교, 그리고 사용자 기반 MC‑CF와의 하이브리드 모델 탐색이 기대된다.