레딧‑아마존 영화 매칭 데이터셋으로 본 엔터티 매칭 평가

초록

본 논문은 레딧 대화에서 언급된 영화 제목을 아마존 2023 데이터셋의 정형화된 영화 엔터티와 연결하는 Reddit‑Amazon‑EM 데이터셋을 구축하고, 규칙‑기반, 그래프‑기반, 임베딩‑기반, LLM‑기반 등 최신 엔터티 매칭 방법들을 체계적으로 평가한다. 실험 결과 그래프 신경망 기반 GNEM이 가장 높은 F1(96.29%)과 정확도(96.74%)를 기록했으며, LLM 기반 ComEM도 경쟁력 있는 성능을 보였다. 또한 엔터티 매칭 품질이 LLM‑기반 대화형 추천 시스템의 성능에 미치는 영향을 사례 연구를 통해 확인한다.

상세 분석

이 연구는 엔터티 매칭(Entity Matching, EM)이 대화형 추천 시스템(CRS)과 지식 기반 추천 시스템에서 핵심 역할을 수행한다는 점을 강조한다. 기존 연구들은 Fuzzy, BM25, Faiss 등 전통적인 매칭 기법을 사용했지만, 체계적인 벤치마크가 부족했다. 이를 해결하기 위해 저자들은 Reddit‑Amazon‑EM이라는 새로운 교차‑도메인 데이터셋을 구축하였다. 데이터 수집 단계에서는 Reddit 대화에서 약 1,000개의 빈번히 언급되는 영화 제목을 추출하고, 각 제목에 대해 Amazon ‘23 데이터베이스에서 편집 거리와 임베딩 유사도 기반 상위 10개 후보를 자동으로 선정하였다. 이후 인간 주석자가 Streamlit 인터페이스와 GPT‑3.5 보조 제안을 활용해 최종 매칭을 확인함으로써 869개의 Reddit 영화가 4,504개의 고유 Amazon 엔터티와 연결되었다.

주석 데이터는 4,322개의 양성 쌍과 42,748개의 음성 쌍(양성:음성 비율 1:10)으로 구성되어, 학습·검증·테스트 셋으로 각각 30,124, 7,532, 9,414 샘플에 분할되었다. 각 샘플은 Reddit ID, Amazon ID, 두 텍스트 제목, 그리고 매칭 라벨을 포함한다.

평가된 모델은 크게 다섯 범주로 나뉜다. ① BM25는 전통적인 TF‑IDF 기반 lexical 매칭, ② Faiss는 all‑MiniLM‑L6‑v2 임베딩을 이용한 dense retrieval, ③ Embedding+Fuzzy는 BERT 임베딩과 Levenshtein, Jaro‑Winkler, Jaccard 세 가지 퍼지 유사도를 결합한 하이브리드, ④ GNEM은 레코드‑페어 그래프와 단일‑계층 게이트 그래프 컨볼루션을 활용한 그래프‑기반 모델, ⑤ ComEM은 LLM(주로 GPT‑3.5) 기반 후보 생성·선택 파이프라인을 적용한 최신 방법이다.

성능 지표는 Recall@k, Precision@k, F1, Accuracy를 사용했으며, GNEM이 F1 96.29%, Accuracy 96.74%로 가장 우수했다. 이는 그래프 구조가 영화 제목의 연도, 포맷, 시리즈 등 메타 정보를 효과적으로 연결해 미세 차이를 구분할 수 있기 때문이다. ComEM은 F1 94.02%로 뒤를 이었으며, LLM의 풍부한 의미 이해가 장점이지만 정확한 수치(예: 발매 연도) 처리에서는 그래프 기반 규칙에 비해 약간 부족함을 보였다. Embedding+Fuzzy는 F1 86.68%로 중간 수준이며, 신경 임베딩과 퍼지 매칭의 보완적 효과를 확인할 수 있었다. 반면 BM25와 Faiss는 각각 F1 78.43%, 89.76%(Recall)와 낮은 Precision(60.51%)을 보여, 단순 텍스트 혹은 벡터 유사도만으로는 동일 영화와 다른 포맷을 구분하기 어려움을 드러냈다.

연산 효율성 측면에서는 CPU 기반 BM25와 Faiss가 초기화는 빠르지만 추론 시간이 8~10시간에 달해 비현실적이었다. GNEM은 GPU에서 10 epoch당 약 423 s(초당 60 s 추론)로 학습 비용이 크지만 추론은 빠르고, Emb+Fuzzy는 학습·추론 모두 10 s 수준으로 실용적이다. ComEM은 사전 학습된 LLM을 활용하므로 별도 학습 단계가 없으며 추론에 약 70 s가 소요된다.

마지막으로, 엔터티 매칭 품질이 LLM‑기반 CRS에 미치는 영향을 사례 연구로 검증했다. GPT‑4, GPT‑3.5‑turbo, Qwen‑3‑4b 등 네 가지 LLM이 생성한 추천 문맥에서 각 매칭 방법의 Recall@1/5를 측정했으며, GNEM이 가장 높은 Recall을 기록해 실제 서비스에서 정확한 아이템 연결이 사용자 만족도와 직접 연결됨을 시사한다.

전체적으로 이 논문은 (1) 자연스러운 사용자 대화와 정형 데이터 간의 매핑을 위한 대규모 고품질 교차‑도메인 데이터셋을 제공하고, (2) 최신 EM 기법을 포괄적으로 벤치마크함으로써 그래프‑기반 접근법이 현재 가장 강력함을 입증했으며, (3) 엔터티 매칭이 LLM‑기반 대화형 추천 시스템의 핵심 성능 요인임을 실증적으로 보여준다. 향후 연구는 더 다양한 도메인(예: 음악, 도서)으로 확장하고, 멀티모달 정보와 사용자 행동 로그를 결합한 하이브리드 매칭 모델을 탐색하는 방향으로 진행될 수 있다.