대규모 주제 탐색을 위한 가중치 샘플링 최소 해싱

초록

SWMH는 문서 집합에서 용어의 동시 출현을 기반으로 무작위 해시 파티션을 생성하고, 가중치를 적용한 최소 해싱으로 높은 유사성을 가진 용어 집합을 찾아낸다. 이렇게 얻은 겹치는 파티션 셀을 연결·군집화하여 다양한 규모의 토픽을 추출하며, NIPS, 20 Newsgroups, Reuters, Wikipedia 등 대규모 코퍼스에서 의미 있는 토픽을 효율적으로 발견한다. 또한 온라인 LDA와 비교했을 때 문서 분류 성능과 확장성 면에서 경쟁력을 보인다.

상세 분석

본 논문은 기존의 샘플링 최소 해싱(SMH) 방식을 확장하여, 용어 빈도에 가중치를 부여한 가중치 샘플링 최소 해싱(SWMH)을 제안한다. SMH는 문서‑용어 역인덱스를 대상으로 무작위 순열을 적용해 최소 해시값을 계산하고, 동일한 해시값을 가진 용어들을 같은 파티션 셀에 배치한다. 그러나 SMH는 균등 분포 기반 순열만을 사용하므로, 빈도가 낮은 용어가 과도하게 파티션에 포함되는 문제가 있다. 이를 해결하기 위해 Chum et al.이 제안한 가중치 기반 순열을 도입, 각 문서의 길이 역수와 tf‑idf와 같은 가중치를 활용해 순열을 샘플링한다. 이렇게 하면 동일한 문서 집합에 자주 등장하면서도 비중이 높은 용어들만이 동일한 최소 해시값을 가질 확률이 높아져, 실제 의미적 연관성이 강한 용어군을 효과적으로 추출한다.

SWMH의 핵심 파이프라인은 두 단계로 구성된다. 첫 번째 단계인 파티셔닝에서는 l개의 해시 테이블을 구축하고, 각 용어의 역인덱스 리스트에 대해 r개의 최소 해시값을 묶은 튜플을 계산한다. 동일 튜플을 공유하는 용어 리스트는 ‘공동 출현 용어 집합(co‑occurring term set)’으로 간주된다. 두 번째 단계인 클러스터링에서는 이러한 용어 집합 간의 겹침 비율(overlap coefficient)을 측정하고, 겹침이 사전 정의된 임계값 ε를 초과하는 경우 그래프의 연결 관계로 연결한다. 최종적으로 연결된 컴포넌트가 하나의 토픽을 형성한다. 이 과정에서 겹침 비율이 높은 용어 집합이 체인 형태로 연결될 경우, 직접적인 단어 공유가 없더라도 동일 토픽에 포함될 수 있다.

실험에서는 s* (유사도 임계값)와 r (튜플 크기) 두 파라미터를 조정해 토픽 수와 품질을 제어한다. s를 낮출수록 더 엄격한 유사도 기준이 적용돼 토픽 수가 감소하고, r을 늘리면 충돌 확률이 감소해 더 정교한 토픽이 생성된다. NIPS와 Reuters 데이터셋에 대해 s = 0.10, r = 3을 사용했을 때, SWMH는 SMH에 비해 토픽당 평균 용어 수를 73% (NIPS)·45% (Reuters)까지 감소시켰으며, 의미적 일관성이 향상된 것을 확인했다.

확장성 평가에서는 Reuters 코퍼스를 10%씩 증대시키며 토픽 마이닝에 소요되는 시간과 메모리를 측정했는데, 문서 수와 복잡도에 비례해 선형적으로 증가함을 보였다. 전체 코퍼스(위키피디아 1.26 M 문서)에서는 약 45 000초(≈12.5 시간)의 실행 시간이 소요됐으며, 메모리 사용량은 1.5 GB 수준에 머물렀다. 이는 온라인 LDA가 동일 규모에서 100 토픽을 학습하는 데 3일이 걸리는 것과 비교해 상당히 효율적인 결과다.

문서 분류 실험에서는 20 Newsgroups 데이터에 대해 SWMH가 추출한 토픽을 기반으로 문서‑토픽 유사도 벡터를 구성하고, 이를 SVM 분류기에 입력했다. 토픽 수를 205 → 2427개로 늘릴수록 정확도가 59.9%에서 64.1%까지 상승했으며, 온라인 LDA(100 토픽)와 비교했을 때 비슷하거나 약간 높은 성능을 보였다. 특히 토픽 수가 400개인 온라인 LDA와 비교했을 때, SWMH는 학습 시간·메모리 효율성에서 우위를 유지하면서도 분류 정확도에서 경쟁력을 유지한다.

전체적으로 SWMH는 (1) 가중치 기반 최소 해싱을 통해 의미적 동시 출현 용어를 정교하게 포착, (2) 파티션 간 겹침을 활용한 효율적인 클러스터링으로 다중 규모 토픽을 자동 생성, (3) 대규모 코퍼스에서도 선형적인 시간·메모리 복잡도를 보이며 실용적인 토픽 마이닝 도구로 활용 가능함을 입증한다. 향후 연구에서는 해시 테이블을 병렬화하거나, 동적 가중치 학습을 결합해 실시간 스트리밍 환경에서도 적용할 수 있는 확장성을 탐색할 여지가 있다.