그래프 기반 결측 모달리티 보간으로 멀티모달 추천 강화

초록

본 논문은 멀티모달 추천 시스템에서 이미지·텍스트 등 일부 모달리티가 결측될 때, 아이템 간 공동구매 그래프를 활용해 결측 특성을 전파하는 네 가지 학습‑프리 그래프 기반 보간 방법을 제안한다. 실험 결과, 제안 기법은 기존 멀티모달 모델의 성능 격차를 유지하거나 확대하고, 전통적인 머신러닝 결측값 대체 방법보다 우수함을 입증한다. 또한 아이템 그래프상의 특성 동질성(heterophily)이 보간 효과에 미치는 영향을 최초로 분석한다.

상세 분석

이 연구는 멀티모달 추천 시스템에서 발생하는 ‘모달리티 결측’ 문제를 정형화하고, 기존에 데이터가 결측된 아이템을 단순히 제외하는 관행이 오히려 데이터 희소성을 악화시킨다는 점을 지적한다. 저자들은 사용자‑아이템 상호작용으로 구성된 이중 그래프 중, 아이템‑아이템 공동구매 그래프를 선택해 결측 특성 보간을 수행한다는 새로운 관점을 제시한다. 구체적으로, 각 모달리티(예: 이미지, 텍스트, 오디오)에 대해 존재하는 특성 벡터를 그래프 노드에 할당하고, 결측된 노드에 대해 이웃 노드의 특성을 다중 홉 전파 방식으로 평균·가중 평균·라플라시안 스무딩·친화성 기반(친화성 행렬 활용) 네 가지 방법으로 추정한다. 이 과정은 모델 학습 전 사전 처리 단계에서 수행되므로, 어떠한 멀티모달 추천 알고리즘에도 무관하게 적용 가능하다.

제안된 방법들의 핵심 장점은 (1) 학습 비용이 전혀 들지 않아 기존 파이프라인에 손쉽게 삽입 가능하고, (2) 아이템 간 구매 연관성을 직접 활용함으로써 동일 카테고리 혹은 유사한 스타일의 아이템이 공유하는 시각·텍스트 특성을 자연스럽게 전파한다는 점이다. 특히, 그래프 기반 보간은 전통적인 평균·제로·랜덤 대체 방식보다 높은 특성 일관성을 제공한다는 실험적 증거가 제시된다.

실험에서는 Amazon 리뷰 데이터(음악·뷰티 등)와 단일 비디오 데이터(3 모달리티) 등 6개의 대규모 데이터셋에 대해 14개의 최신 멀티모달 추천 모델(VBPR, NGCF‑M, LightGCN‑M 등)을 대상으로 평가하였다. 결과는 결측 모달리티 비율이 20%80%까지 증가해도 제안 기법이 기존 방법 대비 Recall@20, NDCG@20 등 주요 지표에서 평균 37%p의 향상을 보였으며, 경우에 따라 멀티모달 모델과 전통 CF 모델 간 격차가 2배 이상 확대되었다.

또한, 아이템 그래프상의 ‘특성 동질성(Feature Homophily)’을 정량화하고, 동질성이 높을수록 그래프 기반 보간의 효과가 크게 나타난다는 상관관계를 분석하였다. 이는 동일 카테고리 아이템이 비슷한 시각·텍스트 특성을 공유한다는 가정이 실제 그래프 구조에 반영될 때, 보간이 더욱 정확해진다는 의미이다.

전체적으로 이 논문은 멀티모달 추천 시스템에서 결측 모달리티 문제를 그래프 이론과 결합하여 해결하는 새로운 패러다임을 제시하고, 학습‑프리 접근법이 실용적이며 성능 면에서도 충분히 경쟁력 있음을 입증한다.