신뢰성 있는 멀티모달 추천을 위한 방법과 분석

초록

본 논문은 멀티모달 추천 시스템에서 이미지·텍스트와 같은 콘텐츠가 신뢰할 수 없을 때 발생하는 성능 저하 문제를 다룬다. 아이템‑모달리티 간의 부정확한 매칭을 완화하기 위해 경량 프로젝션과 Sinkhorn 기반 소프트 매칭을 이용한 플러그‑인식 정정 모듈을 제안하고, 협업 신호에 노이즈가 섞였을 때 의사 상호작용 및 의사 그래프 엣지 삽입이 오히려 성능을 악화시킬 수 있음을 실험을 통해 밝혀낸다. 다양한 백본과 데이터셋에서 제안 방법이 기존 모델보다 높은 견고성을 보임을 입증한다.

상세 분석

이 논문은 멀티모달 추천 시스템이 실제 전자상거래 환경에서 마주치는 두 가지 신뢰성 문제—콘텐츠 모달리티의 불일치와 협업 신호의 노이즈—를 체계적으로 분석한다. 먼저, 이미지와 텍스트가 서로 맞지 않거나 클릭베이트와 같은 오해를 일으키는 경우, 기존 모델은 모든 모달리티를 동일하게 신뢰하고 결합하기 때문에 잘못된 특징이 사용자 선호를 왜곡한다. 이를 해결하기 위해 저자는 ‘모달리티 정정 모듈’을 설계했으며, 핵심 아이디어는 아이템별로 신뢰할 수 있는 앵커 임베딩(협업 그래프에서 학습된 LightGCN 임베딩)을 기준으로 각 모달리티 특징을 투사하고, Sinkhorn 알고리즘을 이용해 아이템‑모달리티 간의 소프트 매칭 행렬을 추정한다. 이 매칭은 손실이 작은(즉, 앵커와 유사도가 높은) 샘플을 선택적으로 학습함으로써, 잘못 매칭된 특징에 대한 영향을 최소화한다. 경량 선형 프로젝션과 정규화된 코사인 손실을 사용해 연산 비용을 크게 늘리지 않으면서도, 정정된 특징(e_rect) 를 기존 백본에 그대로 입력함으로써 아키텍처 변경 없이 적용 가능하도록 설계했다.

두 번째로, 논문은 협업 신호 자체가 노이즈(잘못된 클릭·구매 기록)일 때 발생하는 위험을 탐구한다. 여기서는 두 가지 ‘의사’ 전략을 실험한다. 첫째, 훈련 세트에 사전 지식 기반의 의사 상호작용(pseudo interactions)을 추가하는 경우, 이들이 실제 패턴과 정렬될 경우 성능이 향상되지만, 정렬되지 않으면 오히려 모델이 잘못된 관계를 학습하게 된다. 둘째, 그래프 전파 단계에만 의사 엣지를 삽입하는 경우, 메시지 패싱 과정에서 잘못된 관계가 증폭돼 견고성이 크게 저하될 수 있다. 이러한 결과는 그래프 강화가 무조건 이득이 아니라, 신뢰성 수준에 따라 비선형적인 영향을 미친다는 중요한 인사이트를 제공한다.

실험에서는 Amazon Baby, Clothing 등 여러 공개 데이터셋과 VBPR, LATTICE, FREEDOM, MGCN, SMORE 등 다양한 멀티모달 백본을 사용했다. 모달리티 정정 모듈을 적용했을 때, 이미지·텍스트 교란 비율이 0.30.5까지 증가해도 기존 모델 대비 NDCG와 Recall이 평균 812% 개선되었다. 또한, 의사 상호작용과 의사 엣지 삽입에 대한 실험은 ‘정렬 여부’가 성능 변동을 크게 좌우한다는 것을 정량적으로 보여준다. 전체적으로 이 논문은 멀티모달 추천 시스템의 신뢰성을 향상시키기 위한 실용적인 방법론과, 신뢰성 저하 상황에서의 설계 가이드라인을 동시에 제공한다는 점에서 학술적·산업적 가치가 높다.