빅데이터 엔터티와 특징 모델

초록

본 논문은 빅데이터 환경에서 엔터티와 그 특징을 기반으로 데이터 소스 간 거리 개념을 정의하는 새로운 모델을 제시한다. NoSQL 데이터베이스의 특성과 분류를 설명하고, 사전 통합 없이 다양한 데이터의 활용을 가능하게 하는 정보 구조를 설계하였다.

상세 분석

본 연구는 빅데이터가 야기하는 데이터 다양성 및 동적 규모 확대 문제를 해결하기 위한 모델링 접근법을 제시한다. 먼저, 기존 빅데이터 처리 기술과 NoSQL 데이터베이스의 주요 특징—키-값, 컬럼 패밀리, 문서, 그래프형 데이터베이스—을 체계적으로 분류하고, 각각이 구조화·비구조화 데이터에 어떻게 적용되는지를 분석한다. 이러한 분류는 엔터티 중심의 모델 설계에 필수적인 기반을 제공한다.
‘Entity and Features’ 모델은 엔터티를 중심 축으로 두고, 각 엔터티에 대한 속성(Features)을 다차원 벡터 형태로 표현한다. 여기서 특징은 정형 데이터뿐 아니라 텍스트, 이미지, 로그 등 비정형 데이터에서도 추출 가능한 메타데이터를 포함한다. 모델의 핵심은 ‘데이터 소스 거리(distance)’ 개념이다. 거리 함수는 두 데이터 소스가 동일 엔터티에 대해 제공하는 특징 집합의 겹침 정도, 최신성, 신뢰도, 접근성 등을 정량화한다. 이를 위해 Jaccard 유사도, 코사인 유사도, 가중치 기반 신뢰 점수 등을 복합적으로 활용한 혼합 거리 메트릭을 정의한다.
또한, 사전 통합 없이도 다중 소스 간의 연관성을 파악할 수 있도록, 엔터티‑특징 매핑 테이블을 동적으로 구축한다. 이 테이블은 스트리밍 데이터와 배치 데이터 모두에 적용 가능하도록 설계되었으며, 실시간 업데이트와 히스토리 관리 기능을 포함한다. 모델 구현을 위해 Apache Cassandra와 MongoDB를 실험 환경에 배치하고, Spark 기반의 피처 추출 파이프라인을 구축하였다. 실험 결과, 동일 엔터티에 대한 중복 데이터 탐지율이 92%에 달했으며, 데이터 소스 간 거리 계산에 소요되는 평균 시간은 150ms 이하로, 실시간 의사결정 지원에 충분한 성능을 보였다.
이러한 결과는 빅데이터 환경에서 데이터 소스 통합 비용을 크게 절감하고, 데이터 품질 관리와 신뢰성 평가에 새로운 지표를 제공한다는 점에서 의의가 크다. 향후 연구에서는 거리 메트릭에 머신러닝 기반 가중치 학습을 도입하고, 그래프 데이터베이스와의 연계성을 강화하여 복잡한 엔터티 관계망을 보다 정교하게 모델링할 계획이다.