멀티모달 추천을 위한 대규모 특성 추출 벤치마크와 Ducho 통합 프레임워크

초록

본 논문은 멀티모달 추천 시스템에서 가장 기본적인 단계인 특성 추출을 체계적으로 평가한다. Ducho, MMRec, Elliot 세 가지 프레임워크를 연동해 8개 데이터셋, 8개 추출기, 15개 추천 모델을 포함한 4,000여 실험을 수행했으며, 최신 대형 멀티모달 모델이 기존 추출기보다 전반적으로 성능을 향상시킴을 입증한다. 또한 추출기 하이퍼파라미터와 도메인·모달리티별 차이가 결과에 미치는 영향을 상세히 분석한다.

상세 분석

이 연구는 멀티모달 추천 파이프라인 중 ‘특성 추출(i)’ 단계가 과거에 상대적으로 소홀히 다루어졌다는 점을 지적하고, 이를 정량적으로 검증하기 위해 대규모 벤치마크 환경을 구축하였다. 핵심은 세 가지 오픈소스 프레임워크—Ducho(특성 추출 전용), MMRec와 Elliot(추천 모델 구현 및 평가)—를 하나의 파이프라인에 통합한 점이다. 이를 위해 데이터 전처리, 추출기 호출, 추출된 피처의 포맷 변환, 추천 모델 학습·평가까지 전 과정을 자동화했으며, 프레임워크 간 인터페이스 차이와 의존성 문제를 해결하기 위한 모듈화 설계가 상세히 제시된다.

실험에서는 8개의 최신 멀티모달 추출기를 선정했는데, 여기에는 도메인 특화 CNN·Transformer 모델부터 CLIP, BLIP, Flamingo 등 대형 멀티모달 언어‑비전 모델까지 포함된다. 각 추출기는 배치 크기, 학습률, 레이어 고정 여부 등 10가지 이상의 하이퍼파라미터 조합으로 튜닝되었으며, 이는 기존 연구에서 거의 무시되던 ‘추출기 설정’의 중요성을 강조한다.

데이터셋은 패션, 음악, 레시피, 뉴스, 소셜 미디어 등 8개 도메인에 걸쳐 4,000여 개 아이템·사용자 상호작용을 포함한다. 특히 오디오 모달리티를 포함한 데이터셋을 최초로 실험에 도입해, 시각·텍스트에 비해 상대적으로 낮은 성능 향상이지만, 적절한 추출기와 파라미터 선택 시 유의미한 개선을 보였다.

추천 모델 측면에서는 6개의 전통적인 협업 필터링 기반 모델과 9개의 최신 멀티모달 추천 모델을 사용했으며, 각 모델에 동일한 추출 피처를 입력했을 때 성능 차이를 비교했다. 결과는 대체로 최신 대형 멀티모달 모델이 제공하는 고차원 표현이 기존 경량 추출기보다 높은 정확도(NDCG, Recall)와 더 안정적인 학습 곡선을 제공한다는 점을 보여준다. 다만, 배치 크기가 작거나 메모리 제한이 있는 환경에서는 경량 모델이 오히려 효율적일 수 있다는 트레이드오프도 발견되었다.

또한, 추출기와 추천 모델 간의 ‘호환성’ 문제가 실험에 반영되었다. 일부 추출기는 이미지와 텍스트를 공동 인코딩하지만, 추천 모델이 이를 별도 모달리티로 기대할 경우 성능 저하가 발생한다. 따라서 추출 단계에서 모달리티 별 피처를 어떻게 정규화하고 결합할지에 대한 설계가 전체 파이프라인 성능에 결정적인 영향을 미친다.

전반적으로 이 논문은 멀티모달 추천 연구에서 ‘특성 추출’ 단계의 체계적 평가가 필요함을 입증하고, 최신 대형 멀티모달 모델을 활용한 추출이 다양한 도메인·모달리티에서 일관된 성능 향상을 가져온다는 중요한 인사이트를 제공한다. 또한, 추출기 하이퍼파라미터 튜닝, 모달리티 별 피처 정규화, 프레임워크 통합 방법론 등 실무 적용에 바로 활용 가능한 가이드라인을 제시한다.