엔트로GD 대규모 IoT 데이터 압축과 직접 분석을 위한 선형 복잡도 프레임워크

초록

본 논문은 IoT 환경에서 발생하는 고차원 데이터 스트림을 대상으로, 기존 일반화 중복제거(GD) 방식이 갖는 O(nd²) 복잡도를 O(nd) 로 낮춘 EntroGD 프레임워크를 제안한다. EntroGD는 분석에 필요한 핵심 정보를 보존하는 압축 샘플을 먼저 생성하고, 엔트로피 기반 비트 선택으로 압축 효율을 극대화한다. 18개 데이터셋 실험에서 구성 시간은 최대 53.5배 단축되고, 전체 데이터의 2.6 %만 사용해도 클러스터링 속도가 31.6배 향상되는 등, 높은 압축률과 분석 정확도를 동시에 달성한다.

상세 분석

EntroGD는 기존 GD 알고리즘이 안고 있던 두 가지 근본적인 문제—(1) 차원 수 d 에 대해 O(nd²) 의 이차 복잡도를 가지는 비트 선택 과정, (2) 압축 효율과 분석 정확도 사이의 목표 결합—를 구조적으로 해소한다. 첫 번째 단계에서는 “응축 샘플”(condensed samples)을 생성한다. 이는 각 베이스에 속하는 편차들의 평균을 베이스에 더해 만든 샘플이며, 해당 샘플에 가중치 w (베이스에 속한 원본 샘플 수)를 부여한다. 이렇게 하면 원본 데이터 전체를 사용하지 않고도 베이스 수준에서 충분히 대표적인 통계 정보를 확보할 수 있다. 샘플 수 m 은 사전에 정의된 m_max 에 의해 제한되며, 이는 메모리·연산량을 제어하는 중요한 파라미터다.

두 번째 단계에서는 엔트로피 기반 비트 선택을 수행한다. 모든 비트 위치에 대해 0/1 비율 p_i 를 이용해 엔트로피 H(i)=−p_i log₂ p_i−(1−p_i) log₂ (1−p_i) 를 계산하고, 엔트로피가 낮은 비트를 우선적으로 베이스 비트 집합 B 에 포함한다. 낮은 엔트로피 비트는 데이터 전체에서 변동성이 적어 동일 베이스가 많이 재사용되도록 하여, 베이스 개수 n_b 를 최소화한다. 이 과정은 비트 순서를 한 번 정렬하고 순차적으로 추가하는 O(nd) 연산만으로 끝나며, 기존 GreedyGD가 매 반복마다 전체 차원을 탐색하고 비용 함수를 재계산하던 O(nd²) 복잡도를 크게 낮춘다.

압축 단계에서는 확장된 데이터셋 D’ (원본 n 샘플 + m 응축 샘플) 에 대해 베이스와 편차를 구분하고, 베이스 인덱스와 가중치를 포함한 메타데이터를 저장한다. 압축 효율을 평가하는 식 S = n_b l_b + (n+m)(l_d + l_id) + m l_w + S_params 를 사용해, 연속적으로 압축 크기가 감소하지 않을 때(플래토 임계값 τ) 비트 선택을 중단한다.

복잡도 분석 결과, 엔트로피 계산 O(n l_c) 와 베이스 카운팅 O(n) 을 각각 비트당 수행해도 전체 복잡도는 O(n l_c) ≈ O(nd) 에 머문다. 실험에서는 18개의 다양한 IoT 데이터셋(크기 0.4 ~ 5 GB, 차원 4 ~ 17) 에 대해 GreedyGD, GreedyGD+, 전통적인 범용 압축기와 비교했으며, EntroGD는 구성 시간에서 평균 30배 이상의 가속을 보였다. 분석 정확도 측면에서는 k‑means 클러스터링을 수행했을 때, 압축된 데이터의 2.6 %만 사용해도 원본 대비 평균 0.3 % 이하의 정밀도 손실을 기록했다. 이는 응축 샘플이 베이스 중심 b_c 보다 실제 데이터 분포를 더 잘 반영하기 때문이다.

요약하면, EntroGD는 (1) 분석용 베이스 비트를 엔트로피 순으로 선별해 비선형 탐색을 제거, (2) 응축 샘플을 통해 분석 정보를 압축 단계와 분리, (3) 전체 파이프라인을 O(nd) 선형 시간으로 구현함으로써, 대규모 고차원 IoT 스트림에서도 실시간에 가까운 압축·분석을 가능하게 만든다.