거리 의존형 중국식 레스토랑 프로세스와 비교교환 클러스터링

초록

**
본 논문은 전통적인 CRP의 교환성 가정을 완화하고, 데이터 간 거리(시간·공간·유사도 등)를 이용해 비교교환적인 파티션 분포를 정의한다. 거리 의존형 CRP는 무한 군집 모델에 종속성을 도입해 순차·공간 데이터에 더 적합한 모델링을 가능하게 하며, 관측 및 혼합 설정 모두에 대한 Gibbs 샘플러를 제시한다. 텍스트 코퍼스 실험을 통해 순차 데이터에 대한 적합도가 향상되고, 기존 CRP 기반 샘플러보다 빠른 혼합 속도를 보임을 입증한다.

**

상세 분석

**
거리 의존형 중국식 레스토랑 프로세스(Distance Dependent CRP, DD‑CRP)는 기존의 중국식 레스토랑 프로세스(CRP)가 갖는 교환성(exchangeability)이라는 강력한 가정을 완화한다는 점에서 이론적·실용적 의미가 크다. 전통적인 CRP는 고객이 테이블에 앉는 확률이 기존 고객 수에만 의존하고, 고객 순서와 위치는 무시한다. 이는 데이터가 독립이고 동일하게 분포(i.i.d.)한다는 전제와 일치하지만, 실제 시계열, 공간적, 혹은 의미적 연관성을 가진 데이터에서는 부적절하다. DD‑CRP는 각 고객(데이터 포인트)마다 다른 고객에게 “연결(link)”될 확률을 정의하는데, 이 확률은 두 데이터 간의 거리 함수 d(i,j)와 그에 대응하는 감쇠 함수 f(d)로 구성된다. 거리 함수는 시간 차, 지리적 거리, 혹은 임베딩 공간상의 유사도 등 다양한 형태로 설계될 수 있다. 감쇠 함수는 일반적으로 지수형, 역수형, 혹은 커스텀 형태를 취해 거리가 멀어질수록 연결 확률을 낮춘다. 이렇게 정의된 연결 구조는 결국 연결 그래프의 연결 성분이 파티션을 형성한다. 즉, 서로 연결된 고객들의 집합이 하나의 클러스터가 된다.

핵심 이론적 기여는 두 가지이다. 첫째, DD‑CRP는 비교교환(non‑exchangeable) 파티션 분포를 명시적으로 구성함으로써 베이지안 비모수 모델링에 새로운 자유도를 제공한다. 이는 기존의 히어라키컬 디리클레 프로세스(HDP)나 파이프라인형 DP와 달리, 데이터 간 의존성을 직접 파라미터화한다는 점에서 차별화된다. 둘째, 논문은 DD‑CRP를 기존 CRP와 동등한 확률적 의미론으로 재해석한다. 기존 CRP는 “새 테이블에 앉을 확률”과 “기존 테이블에 앉을 확률”을 직접 정의하지만, DD‑CRP는 “다른 고객에게 연결될 확률”을 정의하고, 이를 통해 동일한 파티션 확률을 얻는다. 이 재해석은 Gibbs 샘플링 단계에서 기존 CRP 기반 알고리즘보다 더 효율적인 업데이트를 가능하게 한다. 구체적으로, 고객 i의 연결 대상 j를 재샘플링할 때, 기존 테이블에 대한 직접적인 확률 계산 대신 연결 확률 f(d(i,j))와 현재 파티션 구조만 고려하면 되므로, 연산 복잡도가 크게 감소한다.

알고리즘적 측면에서는 두 가지 Gibbs 샘플러가 제시된다. 첫 번째는 관측 모델이 없는 순수 파티션 모델에 대한 샘플러이며, 각 고객을 현재 파티션에서 제거하고, 거리 기반 연결 확률에 따라 새로운 연결 대상을 샘플링한다. 두 번째는 관측 데이터와 결합된 혼합 모델(예: 토픽 모델)에서의 샘플러로, 파티션 업데이트와 동시에 파라미터(예: 토픽-단어 분포) 업데이트를 교대로 수행한다. 특히, 파라미터 업데이트는 기존 CRP 기반 혼합 모델에서 사용되는 콘쥐게이트 프라이어와 결합해 Gibbs 샘플링이 가능하도록 설계되었다.

실험에서는 세 개의 텍스트 코퍼스(뉴스 기사, 과학 논문 초록, 소셜 미디어 포스트)를 사용해 DD‑CRP와 전통적인 CRP 기반 라티스 모델을 비교했다. 데이터는 시간 순서대로 정렬되었으며, 거리 함수는 시간 차에 대한 지수 감쇠를 적용했다. 결과는 로그우도와 퍼플렉시티 지표에서 DD‑CRP가 일관되게 우수함을 보여준다. 특히, 초기 단계에서 클러스터가 급격히 변하는 시계열 구간에서 DD‑CRP는 새로운 클러스터를 빠르게 생성하고, 오래된 클러스터는 자연스럽게 소멸시켜 모델 적합성을 높인다. 또한, 샘플링 효율성 측면에서 DD‑CRP 기반 Gibbs 샘플러는 동일한 이터레이션 수 대비 수렴 속도가 2~3배 빠르며, 자동으로 클러스터 수를 조절하는 메커니즘이 더 안정적인 혼합을 가능하게 한다.

이 논문의 한계점으로는 거리 함수 선택에 대한 가이드라인이 부족하고, 고차원 거리(예: 이미지 피처 거리)에서는 감쇠 함수가 급격히 0에 수렴해 연결 확률이 거의 사라지는 현상이 발생할 수 있다는 점을 들 수 있다. 또한, 현재 구현은 완전 연결 그래프를 가정하므로, 대규모 데이터셋(수십만 건)에서는 메모리와 연산량이 급증한다는 실용적 제약이 있다. 향후 연구에서는 스파스 연결 구조, 학습 가능한 거리 함수, 그리고 변분 추론과의 결합을 통해 이러한 문제를 해결할 여지가 있다.

요약하면, 거리 의존형 CRP는 비교교환 파티션 모델링을 위한 강력하고 유연한 프레임워크를 제공하며, 특히 순차·공간적 의존성이 중요한 응용 분야에서 기존 교환성 가정 기반 베이지안 비모수 모델을 능가한다는 점에서 중요한 기여를 한다.

**