연결 데이터의 올바른 추론을 위한 실용적 접근법

초록

본 논문은 베이지안 엔터티 해상도(ER) 후에 대표 레코드를 선택하는 ‘정규화(canonicalization)’ 단계의 필요성을 강조하고, 다섯 가지 무감독 정규화 방법을 제안한다. 제안 방법들은 대규모 데이터에 적용 가능하도록 설계되었으며, 베이지안 정규화는 ER 불확실성을 하위 분석(선형·로지스틱 회귀)으로 자연스럽게 전달한다. 시뮬레이션과 북캐롤라이나 유권자 데이터 적용을 통해 제안 기법이 예측 정확도와 신뢰구간 커버리지를 개선함을 입증한다.

상세 분석

이 연구는 데이터 정제 파이프라인에서 ER 이후 정규화 단계가 종종 간과되지만, 실제 분석 결과에 결정적인 영향을 미친다는 점을 강조한다. 저자들은 ER 결과로 얻어진 클러스터(동일 실체에 속하는 레코드 집합)를 기반으로 ‘대표 레코드’를 선택하는 문제를 공식화하고, 이를 함수 ψθ(c, xc) 로 정의한다. 여기서 θ는 선택 확률 혹은 집계 규칙을 나타내는 파라미터이며, xc는 클러스터 c 내 모든 레코드의 원시 필드값이다.

제안된 다섯 가지 정규화 방법은 다음과 같다. (1) 무작위 선택(Random) – 각 클러스터에서 사전 확률에 따라 레코드를 무작위로 선택한다. (2) 복합 선택(Composite) – 모든 레코드의 값을 필드별로 평균·중앙값·다수결 등으로 집계해 하나의 합성 레코드를 만든다. (3) 빈도 기반 선택(Frequency) – 가장 많이 나타나는 레코드(또는 가장 흔한 값 조합)를 대표로 채택한다. (4) 신뢰도 가중 선택(Weighted) – 베이지안 ER에서 추출된 사후 확률을 가중치로 사용해 기대값이 가장 높은 레코드를 선택한다. (5) 베이지안 정규화(Bayesian) – ER 단계에서 얻은 사후 샘플들을 직접 활용해 정규화 단계까지 확률적 모델링을 연쇄시켜, 하위 분석에 불확실성을 완전 전파한다.

특히 베이지안 정규화는 기존 베이지안 ER 모델(Marchant et al., 2021)의 사후 샘플을 그대로 이용해 각 클러스터별 대표 레코드의 사후 분포를 추정한다. 이는 정규화 과정 자체를 확률적 추정으로 전환함으로써, 하위 회귀 모델에 입력값의 불확실성을 그대로 반영한다는 장점을 제공한다.

계산 복잡도 측면에서 저자들은 모든 방법이 레코드 수에 선형적으로 확장된다고 주장한다. 복합 선택과 빈도 기반 선택은 클러스터 내 레코드 순회만 필요하고, 베이지안 정규화는 사후 샘플 수에 비례하는 추가 연산만을 요구한다. 따라서 수십만 건 규모의 데이터에도 실용적으로 적용 가능하다.

실험에서는 세 가지 시뮬레이션 시나리오와 실제 NCVD(North Carolina Voter Data)를 사용했다. 시뮬레이션에서는 ER 오류율을 조절해 정규화 방법별 회귀 계수 추정 편향과 평균 제곱 오차(MSE), 신뢰구간 커버리지를 평가했다. 베이지안 정규화는 다른 방법에 비해 편향을 최소화하고, 95% 신뢰구간 커버리지를 목표 수준에 가깝게 유지했다. 실제 NCVD 분석에서는 인구통계 변수(인종, 성별, 연령)와 정당 소속 간의 관계를 선형·로지스틱 회귀로 추정했으며, 베이지안 정규화가 가장 높은 예측 정확도와 안정적인 추정값을 제공했다.

결론적으로, 정규화 단계는 ER 후 데이터 품질을 결정짓는 핵심 요소이며, 베이지안 접근법을 통한 정규화는 하위 분석에 불확실성을 정량적으로 전달함으로써 보다 신뢰할 수 있는 추론을 가능하게 한다. 이 연구는 정규화 방법론을 체계화하고, 실무에서 적용 가능한 가이드라인을 제시함으로써 데이터 통합·분석 분야에 중요한 실용적 기여를 한다.