다중 데이터 소스 통합을 위한 원칙 기반 그래프 매칭 알고리즘

** 본 논문은 다중 데이터 소스를 통합하는 과정에서 발생하는 엔터티 해소(ER) 문제를 그래프 매칭 문제로 공식화하고, 특히 전역 일대일(one‑to‑one) 제약을 적용한 다중 파티트(max‑weight multipartite) 매칭을 다루고 있다. 서론에서는 실제 온라인 서비스(예: Wikipedia, Amazon, Netflix, Yelp)에서 중복이 거의 없다는 ‘중복‑무료 가정’을 제시하고, 이러한 가정이 ER 정확도 향상에 기여한다는 기존 연구들을 정리한다. 기존에는 두 소스 간의 매칭을 위한 이진(양측) 그래프 매칭이 널리 사용되었으며, 이는 최대 가중치 매칭을 다항 시간에 해결할 수 있는 잘 알려진 방법이다. 그러나 세 개 이상 소스를 동시에 매칭하려면 다중 파티트 그래프가 필요하고, 이 경우 최대 가중치 매칭은 NP‑hard임이 알려져 있다. 따라서 저자들은 두 가지 근사 알고리즘을 제안한다. 첫 번째는 베이지안 추론에 자주 쓰이는 max‑sum 메시지 패싱을 변형한 방법이다. 변수 노드는 각 엔터티 매칭 여부를, 팩터 노드는 일대일 제약과 가중치(유사도 점수)를 인코딩한다. 메시지는 각 팩터와 변수 사이를 오가며 라그랑주 승수 형태로 업데이트되고, 반복 수렴 후 최종 매칭을 도출한다. 이 접근법은 전역 제약을 자연스럽게 반영하면서도, 루프가 존재하는 그래프에서도 수렴성을 보이며, 특히 노이즈가 큰 상황에서도 높은 매칭 품질을 유지한다는 실험 결과가 제시된다. 두 번째는 탐욕적(그리디) 알고리즘이다. 모든 가능한 엔터티 쌍에 대해 가중치를 내림차순으로 정렬한 뒤, 일대일 제약을 위배하지 않는 가장 높은 가중치의 매칭을 차례로 선택한다. 저자들은 이 알고리즘이 전체 최적 가중치의 최소 1/2를 보장하는 2‑approximation 정리를 증명하였다(정리 4.1). 구현이 간단하고 메모리·시간 복잡도가 낮아 대규모 실시간 시스템에 적합하다. 알고리즘 평가에서는 세 가지 데이터셋을 사용하였다. 첫 번째는 Bing 영화 서비스에서 수억 개의 엔터티와 수조 개의 잠재 매칭을 포함한 대규모 실세계 데이터이며, 기존 연구에서 다루어진 가장 큰 ER 데이터셋보다 3‑4 orders of magnitude 규모가 크다. 두 번째는 학술 출판 데이터(논문·저자·기관)로, 중복 비율이 낮아 ‘중복‑무료’ 가정을 검증한다. 세 번째는 다양한 노이즈 수준을 인위적으로 추가한 합성 데이터이다. 실험 결과는 다음과 같다. (1) 다중 소스를 동시에 매칭하면, 각각을 별도로 매칭한 후 결과를 합치는 방식보다 정밀도와 재현율이 현저히 높다. (2) 메시지 패싱 알고리즘은 노이즈가 심한 경우에도 높은 매칭 가중치를 유지하며, 탐욕적 방법보다 약 5‑10% 높은 F1 점수를 기록한다. (3) 탐욕적 방법은 실행 시간이 수십 배 빠르며, 실시간 서비스에 적용하기에 충분한 성능을 보인다. 또한, 예제 3.3을 통해 순차적 이진 매칭이 전역 최적을 놓칠 수 있음을 이론적으로 증명한다. 관련 연구 섹션에서는 기존의 ER, 통계적 레코드 링크, 중복 제거, 그리고 제약 기반 매칭 방법들을 정리하고, 특히 Sadinle et al. (2014)의 베이지안 ER 접근법이 Bell 수에 따라 지수적 복잡도를 갖는 반면, 제안된 메시지 패싱은 선형에 가까운 복잡도로 확장 가능함을 강조한다. 마지막으로 논문은 두 알고리즘이 상호 보완적이라는 결론을 내린다. 즉, 정확도가 중요한 배치 처리에서는 메시지 패싱을, 응답 시간이 중요한 온라인 서비스에서는 탐욕적 방법을 선택하면 된다. 향후 연구 방향으로는 더 복잡한 제약(예: 그룹 매칭, 다중 속성 일관성)과 딥러닝 기반 유사도 모델을 결합한 하이브리드 접근법을 제시한다. **