잠재 변수 신경망 기반 하이브리드 추천 모델

초록

본 논문은 아이템 평점 행렬과 아이템(또는 사용자) 설명을 동시에 활용하는 ‘잠재 변수 신경망(LNN)’을 제안한다. LNN은 생성적 역전파(GenBP)와 비지도 역전파(UBP)를 결합한 3단계 학습 절차를 통해 잠재 입력 변수와 신경망 가중치를 동시에 최적화한다. 이를 통해 전통적인 협업 필터링이 겪는 콜드‑스타트 문제를 완화하면서, 최신 행렬 분해 기반 방법과 동등한 정확도를 유지한다. 실험은 MovieLens 데이터셋을 이용해 수행했으며, 내용 기반 필터와 기존 하이브리드 기법을 모두 능가하는 성능을 보였다.

상세 분석

이 논문은 추천 시스템에서 가장 오래된 난제인 콜드‑스타트 문제를 해결하기 위해, 잠재 변수와 명시적 특성을 동시에 학습하는 새로운 신경망 구조인 LNN(Latent Neural Network)을 설계하였다. 기본 아이디어는 아이템(또는 사용자) 평점 행렬 X와 아이템 설명 행렬 A를 입력으로 받아, 각 아이템에 대한 잠재 벡터 vᵣ와 설명 벡터 aᵣ를 연결(concatenate)한 뒤, 다층 퍼셉트론(MLP)으로 매핑함으로써 평점을 예측하는 것이다.

핵심 기술은 **생성적 역전파(GenBP)**와 **비지도 역전파(UBP)**의 결합이다. GenBP는 가중치를 고정한 채 잠재 입력 v에 대한 손실의 기울기를 계산해 직접 업데이트한다. 반면 UBP는 가중치와 잠재 입력을 동시에 학습한다. LNN은 이 두 방식을 3단계 학습 프로세스로 순차적으로 적용한다.

1. Phase 1 – 은닉층이 없는 단일 퍼셉트론을 이용해 잠재 벡터 V만을 초기화한다. 여기서는 입력 특성 A가 그대로 사용되며, 손실은 평점 예측 오차의 제곱합으로 정의된다.
2. Phase 2 – 다층 퍼셉트론을 도입해 가중치 W를 학습한다. 이때 V는 고정되어 있어, 가중치가 잠재 입력에 대한 최적 매핑을 찾도록 한다.
3. Phase 3 – 가중치와 잠재 입력을 동시에 미세조정한다. 정규화 항을 제거하고 학습률을 점진적으로 감소시켜, 지역 최적점에 수렴하도록 설계하였다.

알고리즘 1·2는 각각 전체 학습 흐름과 한 에포크 내의 전방·후방 전파 과정을 상세히 기술한다. 특히, 잠재 입력에 대한 기울기 h는 전통적인 역전파에서 출력층까지 전파된 오차 δ와 연결 가중치 w의 곱으로 표현되며, 이는 식 (3)·(4)에서 일반화된 형태로 제시된다.

LNN의 장점은 다음과 같다. 첫째, 잠재 변수 V가 차원 축소 역할을 수행하면서도, 명시적 특성 A와 결합해 콜드‑스타트 아이템에 대한 초기 예측을 가능하게 한다. 둘째, 비선형 활성화 함수를 사용함으로써 기존 행렬 분해(Matrix Factorization, MF)와 같은 선형 모델이 포착하지 못하는 복잡한 상호작용을 학습한다. 셋째, 3단계 학습은 초기화 문제를 완화하고, 전역 최적에 가까운 해를 찾는 데 기여한다는 실험적 증거가 제시된다.

실험에서는 2113명의 사용자와 1019개의 영화를 포함한 MovieLens 1M 데이터를 사용했으며, 영화 장르 19개를 이진 특성으로 활용하였다. 비교 대상은 전통적인 콘텐츠 기반 필터(CBF), 협업 필터링 기반 행렬 분해(MF), 비선형 PCA(NLPCA), UBP, 그리고 기존 하이브리드 기법들이다. 결과는 MAE(Mean Absolute Error) 기준으로 LNN이 CBF와 대부분의 하이브리드 모델을 능가하고, MF와 거의 동일한 수준을 유지함을 보여준다. 특히 콜드‑스타트 상황(새로운 영화에 대한 평점이 없을 때)에서는 LNN이 다른 모델보다 현저히 낮은 오류를 기록하였다.

이 논문은 잠재 변수와 명시적 특성을 동시에 최적화하는 프레임워크를 제시함으로써, 콜드‑스타트 문제를 해결하고 기존 협업 필터링의 정확성을 유지하는 실용적인 방법을 제공한다. 또한, 3단계 학습 전략이 비선형 신경망 기반 추천 시스템에서 효과적인 초기화와 수렴을 보장한다는 점에서 향후 연구에 중요한 설계 지침을 제공한다.