스트림 환경에서 공정 합의 클러스터링을 위한 일반 프레임워크

초록

본 논문은 입력 클러스터링이 순차적으로 도착하는 스트리밍 모델에서, 제한된 메모리만을 사용해 비례적·통계적 공정성을 만족하는 합의 클러스터링을 수행하는 최초의 알고리즘을 제시한다. 핵심은 “가장 가까운 공정 클러스터링” 서브루틴을 블랙박스로 활용하고, 로그 규모의 샘플링과 클러스터 피팅을 결합한 두 단계 프레임워크이다. 이 접근법은 1‑median 및 k‑median 목표에 대해 상수‑팩터 근사비를 보장하며, 공간 복잡도는 Θ(n log (mn)) 로 거의 최적임을 증명한다.

상세 분석

이 논문은 기존의 오프라인 공정 합의 클러스터링(Chakraborty et al., COLT’25)에서 요구되는 전체 입력 저장 문제를 근본적으로 해결한다. 저자들은 먼저 “가장 가까운 공정 클러스터링(closest fair clustering)” 문제에 대한 γ‑approximation 알고리즘이 존재한다는 가정 하에, 이를 스트리밍 환경에 적용할 수 있는 일반 프레임워크를 설계한다. 프레임워크는 두 단계로 구성된다. 첫 번째 단계에서는 입력 클러스터링 스트림에서 균등 무작위 샘플을 O(log (mn)) 개만 유지하면서, 각 샘플에 대해 블랙박스 형태의 공정 클러스터링 서브루틴을 호출해 후보 클러스터링 집합을 만든다. 여기서 “클러스터 피팅(cluster fitting)” 기법을 도입해, 샘플링된 클러스터링들의 구조적 특성을 보존하면서 후보를 압축한다. 두 번째 단계에서는 또 다른 로그 규모의 샘플을 이용해, 후보 집합 중 목표 함수(총 거리)를 최소화하는 최적 후보를 선택한다. 이때 사용되는 샘플링은 “monotone far‑away sampling”과 같은 거리 기반 선택 방식을 차용해, 후보 간의 상관성을 최소화하고 대표성을 극대화한다.

공정성 측면에서 가장 큰 장점은 프레임워크가 공정성 정의에 독립적이라는 점이다. 즉, 비례적 공정성, 통계적 공정성, 다중 색상(그룹) 공정성 등 어떠한 제약이든, 해당 제약을 만족하는 가장 가까운 공정 클러스터링을 찾는 알고리즘만 있으면 그대로 적용 가능하다. 이는 기존 연구가 두 색상 비례 공정성에만 특화된 것과 대비된다.

알고리즘의 근사비는 (γ + 1.995) for 1‑median, (1.0151 γ + 1.99951) for k‑median 로 제시된다. 특히 γ가 1에 가까운 경우(예: 두 색상 비례 공정성에 대한 기존 1‑approximation) 전체 근사비는 2.995 이하, k‑median에서는 약 3.0 수준으로 매우 강력하다. 또한, 스트리밍 알고리즘의 공간 복잡도는 O(n log (mn)) 로, 출력 자체가 O(n) 크기를 갖는 점을 고려하면 정보이론적 하한 Ω(n log n) 에 근접한다는 점에서 거의 최적임을 증명한다.

기술적 난관 중 하나는 입력 클러스터링 간의 거리 측정이 쌍(pair) 기반이라는 점이다. 이는 전통적인 코어셋 기법이 직접 적용되기 어려운 구조적 복잡성을 야기한다. 저자들은 이를 해결하기 위해 거리 측정 자체를 샘플링 기반 추정으로 대체하고, 샘플링 오류를 Chernoff 경계와 결합해 전체 근사비에 미치는 영향을 상수 수준으로 제한한다.

마지막으로, k‑median 확장에서는 각 대표 클러스터링이 독립적으로 공정성을 만족해야 하므로, 후보 생성 단계에서 k개의 서로 다른 “대표 후보 집합”을 동시에 유지한다. 이를 위해 로그 규모의 샘플을 k배 확대하고, 각 후보에 대해 개별적으로 공정 클러스터링 서브루틴을 적용한다. 결과적으로 공간 복잡도는 O(k² n polylog(mn)) 로 증가하지만, 여전히 서브선형이며 실용적인 규모이다.

전반적으로 이 논문은 스트리밍 환경에서 공정성을 보장하면서 합의 클러스터링을 수행하는 첫 번째 이론적 프레임워크를 제공하고, 기존 오프라인 알고리즘보다 더 나은 근사비와 공간 효율성을 동시에 달성한다는 점에서 클러스터링, 공정성, 스트리밍 알고리즘 분야에 중요한 기여를 한다.