대규모 데이터를 위한 지역·전역 친화 전파 클러스터링 기법

초록

친화 전파(AP)는 메시지 전달을 통해 군집을 형성하지만, 밀집된 유사도 행렬을 갖는 대규모 데이터에서는 연산량이 급증한다. 본 논문은 이를 해결하기 위해 두 가지 변형을 제안한다. 지역적 접근인 부분 친화 전파(PAP)는 데이터를 여러 하위 집합으로 나누어 각각 AP를 수행한 뒤, 초기 단계에서 결과를 병합함으로써 전체 반복 횟수를 크게 줄인다. 전역적 접근인 랜드마크 친화 전파(LAP)는 전체 데이터 중 대표 랜드마크를 선정해 이들 사이에서 AP를 수행하고, 이후 비랜드마크 데이터를 랜드마크 군집에 할당한다. 실험 결과, 두 방법 모두 정확도 손실을 최소화하면서 실행 시간을 현저히 단축함을 보였다.

상세 분석

친화 전파(Affinity Propagation, AP)는 데이터 간 유사도 행렬을 입력으로 받아, ‘책임(messages of responsibility)’과 ‘가용성(messages of availability)’이라는 두 종류의 메시지를 반복적으로 교환함으로써 최적의 대표점(엑스레멘)를 자동 선택한다. 전통 AP는 모든 데이터 쌍에 대해 메시지를 계산하므로, 유사도 행렬이 희소(sparse)할 때는 효율적이지만, 밀집(dense)된 대규모 데이터에서는 O(N²) 메모리와 O(N²·T) 연산 복잡도(T는 반복 횟수) 때문에 실용성이 떨어진다. 본 논문은 이러한 문제를 두 단계로 접근한다. 첫 번째는 지역적 방법인 Partition Affinity Propagation(PAP)이다. 전체 데이터를 K개의 서브셋으로 균등하게 분할하고, 각 서브셋에 독립적으로 AP를 적용한다. 각 서브셋 내부에서는 기존 AP와 동일한 메시지 교환이 이루어지지만, 서브셋 간에는 초기 몇 단계만 메시지를 교환한다. 구체적으로, 각 서브셋에서 얻어진 엑스레멘들을 모아 ‘중간 엑스레멘 집합’을 형성하고, 이 집합에 대해 추가 AP를 수행한다. 이렇게 하면 전체 데이터에 대해 직접 AP를 수행할 때보다 반복 횟수가 크게 감소하고, 메모리 요구량도 서브셋 크기만큼 나뉘어 관리 가능해진다. 두 번째는 전역적 방법인 Landmark Affinity Propagation(LAP)이다. 전체 데이터 중에서 M(≪N)개의 랜드마크를 무작위 혹은 k‑means 중심점 등으로 선택하고, 이들에 대해서만 완전한 AP를 수행한다. 랜드마크 군집이 확정되면, 나머지 비랜드마크 데이터는 가장 가까운 랜드마크(또는 해당 랜드마크 군집)의 엑스레멘에 할당한다. 이 과정은 비랜드마크와 랜드마크 간의 유사도만 계산하면 되므로, 전체 O(N·M) 복잡도로 축소된다. 논문은 두 방법 모두 시간 복잡도와 메모리 사용량을 정량적으로 분석하고, 파라미터 K와 M이 정확도와 속도에 미치는 영향을 실험적으로 검증한다. 특히, PAP는 서브셋 경계에서 군집이 분리되는 현상을 완화하기 위해 초기 병합 단계에서 충분한 메시지 교환을 허용하고, LAP는 랜드마크 선택 전략을 다양화함으로써 데이터 구조(예: 매니폴드, 이미지)별 최적 성능을 도출한다. 전반적으로, PAP는 지역 구조가 뚜렷한 경우에, LAP는 전역적인 근사와 빠른 응답이 요구되는 경우에 각각 유리함을 보여준다.