K 평균 클러스터링 공정성 향상을 위한 두 단계 최적화

초록

본 논문은 기존 K‑means 클러스터링에서 발생할 수 있는 민감 변수(성별·인종 등) 기반 불균형 문제를 해결하고자, 먼저 일반 K‑means로 군집을 만든 뒤, 공정성을 크게 해치지 않는 소수의 데이터 포인트를 선택해 클러스터 소속을 교환하는 두 단계 최적화 방식을 제안한다. 근접 외부 포인트와 Gini 지수를 활용한 두 가지 후보 선정 알고리즘을 설계하고, 실험을 통해 군집 품질은 거의 유지하면서 공정성 지표를 현저히 개선함을 보인다.

상세 분석

이 연구는 K‑means 군집화가 민감 특성(예: 성별, 인종)별 비율을 클러스터마다 크게 왜곡할 수 있다는 사회적·윤리적 문제를 인식하고, 이를 수학적 제약으로 전환하는 대신 두 단계의 실용적 최적화 전략을 제시한다. 첫 단계에서는 기존 K‑means 알고리즘을 그대로 적용해 최적 혹은 근접 최적의 군집을 얻는다. 여기서 얻어진 클러스터는 ‘공정성 제약’이 없는 상태이므로, 클러스터 내 서브팝ulation 비율이 전체 모집단 비율과 차이가 클 가능성이 있다. 두 번째 단계에서는 공정성 지표 F를 최소화하기 위해, 클러스터 경계에 위치하면서 현재 할당된 클러스터와 다른 클러스터에 더 가까운 데이터 포인트를 선택한다. 이때 두 가지 후보 선정 기준을 도입한다. 첫 번째는 “Nearest Foreign Point” 방식으로, 각 클러스터의 중심에서 멀리 떨어지고 다른 클러스터 중심에 가깝게 위치한 포인트를 찾아 교환한다. 이는 클러스터 경계 근처에 존재하면서도 현재 할당이 부적절한 포인트를 효율적으로 탐색한다는 점에서 계산 복잡도가 O(n·t) (n은 데이터 수, t는 교환 횟수) 로 선형에 가깝다. 두 번째는 Gini‑index 기반 방식이다. Gini 지수는 원래 분류 트리에서 순도 측정에 쓰이지만, 여기서는 작은 k‑최근접 이웃 내에 서로 다른 클러스터에 속한 포인트가 많이 섞여 있는 경우를 ‘혼합도’가 높다고 판단한다. 높은 Gini 값을 가진 포인트는 클러스터 경계에 있을 가능성이 크므로, 이러한 포인트를 교환 대상으로 삼는다. 두 알고리즘 모두 클러스터 품질을 크게 손상시키지 않으면서 공정성 지표 F를 감소시키는 데 성공한다. 논문은 공정성 지표 F를 클러스터별 서브팝ulation 비율 차이의 가중합으로 정의하고, 균형 지표 β를 통해 어느 클러스터가 과다·과소 대표되는지를 정량화한다. 실험에서는 UCI의 Adult, COMPAS 등 실제 민감 특성을 포함한 벤치마크 데이터셋을 사용해, 기존 K‑means 대비 F 값을 평균 30 % 이상 감소시키면서, 군집 내 평균 제곱오차(SSW)와 같은 품질 지표는 1~2 % 미만의 손실에 머물렀다. 또한, 제안된 두 알고리즘은 구현이 간단하고, K‑means 외에도 DBSCAN, Spectral Clustering 등 다양한 군집화 기법에 적용 가능하도록 설계되었다. 전체적으로 이 논문은 ‘공정성 제약을 직접 최적화하는 복잡한 혼합 정수 프로그램’ 대신, ‘작은 교환 집합을 통한 근사적 개선’이라는 실용적 접근을 제시함으로써, 대규모 데이터에서도 효율적으로 적용할 수 있는 방법론을 제공한다.