계층형 라벨 전파를 이용한 다중해상도 무좌표 정렬로 소셜 네트워크 압축

초록

본 논문은 웹 그래프 압축에 사용되던 URL 기반 정렬을 일반 소셜 네트워크에 적용하기 어려운 문제를 해결한다. 저자들은 클러스터링과 정렬을 결합한 새로운 알고리즘 ‘Layered Label Propagation(L‑LP)’을 제안하고, 이를 멀티코어 환경에서 오버디컴포지션 기법으로 구현한다. 실험 결과, L‑LP가 생성한 정렬을 WebGraph 압축 프레임워크와 함께 사용할 경우, 기존 최첨단 방법들보다 훨씬 높은 압축률을 달성한다.

상세 분석

Layered Label Propagation(L‑LP)은 기존 라벨 전파(Label Propagation) 기반 클러스터링을 다층 구조로 확장한 알고리즘이다. 기본 라벨 전파는 이웃 노드들의 라벨을 반복적으로 교환해 지역적인 커뮤니티를 형성하지만, 단일 레벨에서는 정렬 정보가 충분히 반영되지 않는다. L‑LP는 여러 해상도 레벨을 순차적으로 적용함으로써, 큰 커뮤니티는 상위 레이어에서, 작은 세부 커뮤니티는 하위 레이어에서 탐지한다. 각 레이어에서 얻어진 클러스터는 내부적으로 정렬되고, 레이어 간에는 클러스터 크기와 연결 밀도에 기반한 우선순위가 부여되어 전체 노드 순서를 결정한다.

이 과정에서 저자들은 ‘오버디컴포지션(overdecomposition)’ 전략을 도입한다. 그래프를 다수의 작은 서브그래프로 분할하고, 각 서브그래프를 독립적으로 라벨 전파와 정렬을 수행한 뒤, 최종적으로 결과를 병합한다. 이렇게 하면 메모리 사용량이 크게 감소하고, 각 서브그래프를 다중 코어에 병렬 배치할 수 있어 대규모 그래프(수억~수십억 노드)에서도 몇 시간 내에 정렬을 완성한다.

압축 측면에서는 WebGraph 프레임워크가 제공하는 Gap, Reference, Interval 등 다양한 인코딩 방식을 그대로 활용한다. L‑LP가 생성한 정렬은 인접 리스트가 높은 지역적 연속성을 갖게 하여, Gap 코딩의 평균 차이가 크게 감소하고, 동일 클러스터 내 노드 간 참조(reference) 기회가 늘어나면서 전체 압축 비율이 크게 향상된다. 실험에서는 LiveJournal, Orkut, Twitter 등 실제 소셜 네트워크와 다양한 웹 그래프에 대해 기존 BFS, DFS, Degree‑based 정렬 등과 비교했을 때, 평균 30%~45% 정도의 추가 압축 효율을 기록했다.

또한, 정렬 품질을 정량화하기 위해 ‘Compression Ratio’, ‘Bits per Edge’, ‘Memory Footprint’를 측정했으며, L‑LP는 특히 메모리 제한이 엄격한 환경에서 메인 메모리 내에서 전체 그래프를 다룰 수 있게 하는 데 기여한다. 알고리즘의 시간 복잡도는 라벨 전파 단계가 O(m) (m은 엣지 수)이며, 레이어 수가 로그 규모이므로 전체 복잡도는 실질적으로 선형에 가깝다.

한계점으로는 매우 희소하거나 비정형적인 연결 패턴을 가진 그래프에서는 클러스터 경계가 불명확해 정렬 효과가 감소할 수 있다. 또한, 오버디컴포지션에 따른 서브그래프 경계에서 발생하는 라벨 불일치 문제를 해결하기 위해 추가적인 합병 단계가 필요하지만, 이는 전체 실행 시간에 큰 영향을 주지 않는다.

종합하면, L‑LP는 확장성, 구현 용이성, 그리고 압축 효율성 측면에서 기존 방법들을 뛰어넘는 실용적인 솔루션이며, 대규모 소셜 네트워크 분석 및 저장 비용 절감에 직접적인 영향을 미친다.