웹 검색 로그 익명화를 위한 효과적인 클러스터링 기법

초록

본 논문은 웹 검색 로그를 거래형 데이터로 모델링하고, 클러스터링과 일반화 기법을 결합한 새로운 k‑익명성 기반 익명화 방법을 제안한다. AOL 검색 로그 실험을 통해 기존 거래 익명화 기법 대비 데이터 유용성을 크게 향상시킴을 입증한다.

상세 분석

이 연구는 웹 검색 로그가 개인 식별이 가능한 민감 정보를 포함하고 있다는 점에 주목한다. 기존의 식별자 제거 방식은 쿼리 자체가 사용자를 재식별할 수 있음을 간과했으며, 따라서 보다 강력한 프라이버시 보호가 필요하다. 저자들은 검색 로그를 ‘거래’(transaction) 형태, 즉 사용자가 한 세션 동안 입력한 여러 쿼리의 집합으로 변환한다. 이때 각 쿼리는 토큰화된 키워드 집합으로 표현되며, 전체 로그는 고차원 희소 행렬로 모델링된다.

핵심 기법은 두 단계로 구성된다. 첫 번째는 유사한 거래들을 클러스터링하여 그룹화하는 과정이다. 저자는 Jaccard 유사도 기반의 계층적 클러스터링을 사용해, 같은 주제 혹은 유사한 검색 패턴을 보이는 사용자 세션을 하나의 클러스터에 모은다. 클러스터링은 k‑익명성을 만족시키기 위해 최소 클러스터 크기를 k로 설정한다. 두 번째 단계는 각 클러스터 내부에서 일반화(generalization)를 수행하는데, 이는 키워드 레벨에서 상위 개념(예: ‘스마트폰’ → ‘전자기기’)으로 대체하거나, 빈도 기반의 히스토그램을 이용해 세부 정보를 축소하는 방식이다. 일반화 과정은 정보 손실을 최소화하도록 설계된 비용 함수에 의해 최적화된다.

알고리즘은 클러스터링 후 각 클러스터에 대해 최소 비용 일반화 스키마를 탐색하고, 전체 데이터셋에 적용한다. 이때 비용 함수는 정보 손실(일반화 정도)과 데이터 유용성(쿼리 빈도 보존) 사이의 균형을 반영한다. 실험에서는 AOL 로그 20M 쿼리를 사용했으며, k 값을 5, 10, 20으로 변동시켜 기존의 L‑diversity 기반 방법 및 전통적인 전역 일반화 기법과 비교하였다. 결과는 제안 기법이 동일한 k‑값에서 평균 정보 손실을 15~30% 감소시키고, 쿼리 빈도 분포와 연관 규칙 보존율을 크게 높였음을 보여준다.

이 논문의 주요 기여는 (1) 웹 검색 로그를 거래형 데이터로 재해석한 점, (2) 클러스터링을 통해 자연스러운 동질성 확보 후 일반화를 적용함으로써 k‑익명성을 효율적으로 달성한 점, (3) 비용 기반 일반화 최적화 모델을 도입해 기존 방법 대비 데이터 유용성을 현저히 개선한 점이다. 한계로는 클러스터링 단계에서 계산 복잡도가 로그 규모에 따라 급증할 수 있다는 점과, 일반화 사전(ontology)의 품질에 따라 결과가 좌우된다는 점을 들 수 있다. 향후 연구에서는 분산 클러스터링 및 동적 사전 구축을 통해 확장성을 높이고, 차등 프라이버시와 결합한 하이브리드 모델을 탐색할 여지가 있다.