MapReduce 기반 병렬 정렬 이웃 차단 기법

초록

클라우드 환경에서 대규모 데이터에 대한 엔터티 해소를 효율적으로 수행하기 위해, 저자들은 MapReduce 모델을 활용한 두 가지 정렬 이웃( Sorted Neighborhood) 차단 구현을 제안한다. 하나는 다중 MapReduce 작업을 이용하고, 다른 하나는 데이터 복제를 최적화한 단일 작업 방식을 채택한다. 실험 결과 두 방법 모두 확장성과 성능 면에서 기존 단일 머신 기반 차단보다 우수함을 보인다.

상세 분석

본 논문은 대용량 엔터티 해소(Entity Resolution, ER) 작업에서 병목이 되는 차단(Block) 단계의 병렬화를 목표로 한다. 차단은 모든 레코드 쌍을 비교하는 비용을 크게 줄이기 위해 사전 정렬된 윈도우 내에서만 비교를 수행하는 정렬 이웃 기법을 사용한다. 기존 연구에서는 이 과정을 단일 머신 혹은 메모리 내에서 수행했으나, 데이터 규모가 기하급수적으로 증가함에 따라 클라우드 기반 분산 처리의 필요성이 대두된다. 저자들은 MapReduce라는 범용 분산 프로그래밍 모델을 선택한 이유를 두 가지로 제시한다. 첫째, Map 단계에서 레코드를 키(예: 정렬 키) 기반으로 분배함으로써 자연스럽게 정렬된 스트림을 생성할 수 있다. 둘째, Reduce 단계에서 동일 윈도우에 속하는 레코드들을 모아 비교 연산을 수행함으로써 차단 로직을 구현할 수 있다.

두 가지 구현 방식은 각각 장단점을 가진다. 첫 번째 방식은 “다중 MapReduce 작업”으로, 초기 Map 작업에서 레코드를 정렬 키에 따라 파티셔닝하고, 첫 번째 Reduce에서 윈도우를 형성한다. 이후 두 번째 MapReduce 작업에서는 이미 형성된 윈도우를 입력으로 받아 실제 레코드 쌍 비교를 수행한다. 이 접근법은 파이프라인 형태로 작업을 분리함으로써 각 단계에서 필요한 메모리 양을 최소화하고, 윈도우 경계 처리(예: 윈도우가 두 파티션에 걸치는 경우)를 명시적으로 다룰 수 있다. 그러나 작업 간 데이터 이동이 발생해 네트워크 오버헤드가 증가하고, 작업 스케줄링이 복잡해지는 단점이 있다.

두 번째 방식은 “맞춤형 데이터 복제”를 이용한 단일 MapReduce 작업이다. 여기서는 각 레코드가 자신의 정렬 키와 인접한 윈도우 범위에 해당하는 키를 가진 다른 파티션에도 복제된다. 즉, 레코드가 여러 Reduce 인스턴스로 전송되어 중복 비교가 발생하지만, 전체 파이프라인을 하나의 작업으로 압축함으로써 네트워크 라운드 트립을 최소화한다. 복제 전략은 윈도우 크기와 파티션 수에 따라 조정 가능하며, 적절히 설계하면 중복 전송량을 제한하면서도 모든 필요한 레코드 쌍을 보장한다. 이 방식은 구현이 간단하고 작업 관리가 용이하지만, 복제에 따른 스토리지 및 메모리 사용량이 증가한다는 트레이드오프가 존재한다.

실험에서는 Amazon EC2 클러스터를 이용해 다양한 데이터 셋(수십만수백만 레코드)과 윈도우 크기, 파티션 수를 변형하면서 두 구현을 평가하였다. 성능 지표는 전체 실행 시간, 네트워크 트래픽, 그리고 차단 정확도(재현율·정밀도)이다. 결과는 다중 MapReduce 방식이 큰 파티션 수에서 네트워크 비용이 높아져 성능이 다소 저하되지만, 메모리 사용량이 낮아 대규모 클러스터에 적합함을 보여준다. 반면 맞춤형 복제 방식은 작은중간 규모 클러스터에서 실행 시간이 현저히 짧으며, 복제 오버헤드가 제한적일 경우 차단 정확도에 영향을 주지 않는다. 두 방법 모두 기존 단일 머신 기반 차단 대비 3~8배 가량의 속도 향상을 달성했으며, 차단 품질은 기존 알고리즘과 동일하게 유지되었다.

이 논문은 MapReduce 환경에서 정렬 이웃 차단을 구현할 때 고려해야 할 핵심 설계 포인트를 정리한다. 첫째, 윈도우 경계 처리와 데이터 복제 전략은 파티션 수와 윈도우 크기에 따라 최적화되어야 한다. 둘째, 작업 단계 수와 네트워크 라운드 트립 간의 트레이드오프를 명확히 이해하고, 클러스터 자원(메모리·스토리지·네트워크) 특성에 맞는 구현을 선택해야 한다. 셋째, MapReduce의 기본적인 키-값 모델을 활용해 정렬 키 기반 파티셔닝을 수행하면 추가적인 정렬 비용 없이 차단 전처리를 수행할 수 있다. 이러한 인사이트는 Hadoop뿐 아니라 Spark와 같은 다른 데이터 흐름 엔진에도 적용 가능하며, 향후 엔터티 해소 파이프라인을 클라우드 네이티브 환경에 전면 이식하는 데 기여할 수 있다.