시장 변화 탐지를 위한 그래프 기반 엔트로피

초록

본 논문은 아이템 간 동시 발생 그래프에서 연결된 서브그래프를 추출하고, 이벤트가 이러한 서브그래프에 분포되는 방식을 엔트로피로 정량화한다. 그래프 기반 엔트로피 값의 변동을 소비자 관심사의 출현·분리·소멸·통합 신호로 해석함으로써, 슈퍼마켓 판매 데이터에서 구조적 변화를 조기에 포착한다. 실험 결과, 기존 변화 탐지 기법보다 변화의 실질적 의미와 징후를 더 정확히 설명한다는 것을 입증한다.

상세 분석

이 연구는 소비자 행동의 잠재적 동역학을 설명할 수 있는 구조적 변화를 탐지하기 위해 ‘그래프 기반 엔트로피’를 제안한다. 먼저, 거래 데이터에서 아이템 간 동시 발생 관계를 이용해 무방향 가중 그래프를 구축한다. 노드(아이템)와 엣지(동시 발생 빈도)는 전통적인 공변량 분석보다 복합적인 연관성을 포착한다는 점에서 의미가 크다. 이어서, 그래프에서 연결된 서브그래프(즉, 연결 성분)를 추출한다. 이때 서브그래프는 아이템 군집을 의미하며, 각 군집은 소비자 관심사의 잠재적 주제나 카테고리와 대응될 수 있다.

다음 단계는 이벤트(예: 하루 혹은 한 주의 판매 기록)가 이러한 서브그래프에 어떻게 할당되는지를 측정하는 것이다. 각 이벤트는 포함된 아이템들의 집합으로 표현되며, 해당 아이템이 속한 서브그래프에 매핑된다. 서브그래프별 이벤트 빈도를 구한 뒤, 확률 분포 (p_i = \frac{n_i}{\sum_j n_j}) (여기서 (n_i)는 서브그래프 i에 할당된 이벤트 수) 를 정의한다. 그래프 기반 엔트로피는 전통적인 셰넌 엔트로피 (H = -\sum_i p_i \log p_i) 로 계산되지만, 여기서는 서브그래프의 크기와 연결 강도를 가중치로 반영한 변형을 사용한다. 즉, 큰 서브그래프가 차지하는 비중을 조정함으로써 ‘다양성’과 ‘집중도’를 동시에 평가한다.

엔트로피 값이 급격히 상승하면 새로운 서브그래프가 형성되거나 기존 서브그래프가 분열되어 소비자 관심이 분산되었음을 의미한다. 반대로 급락은 특정 서브그래프가 통합되거나 기존 관심사가 사라졌음을 시사한다. 이러한 변동을 시계열적으로 추적함으로써, 외부 이벤트(프로모션, 계절 변화, 사회적 이슈 등)와 연계된 소비자 행동 변화를 설명 가능한 신호로 변환한다.

실험에서는 대형 슈퍼마켓의 POS(Point‑of‑Sale) 데이터를 사용하였다. 베이스라인으로는 전통적인 시계열 변동 탐지 기법(예: CUSUM, EWMA)과 그래프 기반 커뮤니티 변동 측정(KL‑다이버전스 기반) 등을 적용하였다. 결과는 그래프 기반 엔트로피가 변동 감지 정확도(F1-score)와 설명력(변화 원인과의 상관관계) 모두에서 우수함을 보여준다. 특히, 프로모션 시작 직후 엔트로피가 급증하고, 시즌 종료 시점에 급락하는 패턴이 명확히 드러나, 비즈니스 의사결정에 직접 활용 가능한 인사이트를 제공한다.

한계점으로는 서브그래프 추출 시 임계값 설정에 민감하고, 대규모 그래프에서 연산 비용이 높아 실시간 적용에 추가 최적화가 필요하다는 점을 들 수 있다. 향후 연구에서는 동적 그래프 스트리밍 환경에 맞는 온라인 서브그래프 업데이트 알고리즘과, 엔트로피 가중치 함수를 학습 기반으로 자동 조정하는 방안을 모색한다.