편향된 쿼리로 최적 클러스터링을 빠르게 찾는 활성 학습

초록

본 논문은 반자동 클러스터링에 필요한 쌍(pair) 선택을 무작위가 아닌, 작은 클러스터에 더 많은 가중치를 두는 편향된 분포로 샘플링하는 방법을 제안한다. ε‑smooth 상대 후회 근사(ε‑smooth relative regret approximation) 기법을 이용해 현재 클러스터링과 편향을 동시에 개선하는 반복 알고리즘을 설계하고, 이 알고리즘이 쿼리 비용 측면에서 무작위 선택보다 빠르게 최적 해에 수렴함을 이론적으로 증명한다.

상세 분석

클러스터링에 부수적인 “must‑link”·“cannot‑link” 제약을 얻기 위해 인간에게 질문을 던지는 비용은 제한적이다. 기존 연구들은 보통 무작위로 쌍을 선택하거나, 불확실도가 큰 쌍을 우선 선택하는 탐욕적 전략을 사용했지만, 이러한 방법은 최적 클러스터링 구조와의 연관성을 충분히 활용하지 못한다. 본 논문은 먼저 최적 해의 클러스터 크기 분포가 쿼리 효율성에 미치는 영향을 분석한다. 작은 클러스터에 속한 원소는 전체 쌍 중 차지하는 비율이 작지만, 이들에 대한 제약 정보가 클러스터 경계 정의에 결정적 역할을 한다는 점을 발견한다. 따라서 쿼리 분포를 “작은 클러스터에 인접한 원소 쌍에 더 높은 확률을 부여”하도록 설계하면, 동일한 쿼리 예산으로 얻는 정보량이 크게 증가한다.

하지만 최적 클러스터링을 모르는 상황에서 이러한 편향을 직접 구현할 수는 없다. 여기서 ε‑smooth 상대 후회 근사(ε‑smooth RRA) 개념이 핵심 역할을 한다. ε‑smooth RRA는 현재 클러스터링 C와 후보 클러스터링 C′ 사이의 후회(regret)를 근사적으로 측정하면서, 근사 오차가 ε 이하가 되도록 샘플링 분포를 조정한다. 논문은 Ailon, Begleiter, Ezra의 프레임워크를 클러스터링 제약 문제에 맞게 변형하고, “현재 클러스터링이 작을수록 작은 클러스터에 더 많은 쿼리를 할당한다”는 규칙을 ε‑smooth RRA에 삽입한다.

알고리즘은 다음과 같이 진행된다. (1) 초기 클러스터링을 무작위 혹은 기존 k‑means 결과로 설정한다. (2) 현재 클러스터링을 기반으로 ε‑smooth RRA를 계산해 쿼리 분포를 생성한다. (3) 해당 분포에서 일정 수의 쌍을 선택해 인간에게 라벨을 요청하고, 얻은 제약을 클러스터링 목표 함수에 추가한다. (4) 업데이트된 제약을 반영해 클러스터링을 재계산한다. (5) 2‑4 단계를 수렴할 때까지 반복한다.

이 과정에서 중요한 이론적 결과는 두 가지이다. 첫째, ε‑smooth RRA가 보장하는 샘플 복잡도는 O((k log n)/ε²) 수준으로, 무작위 샘플링에 비해 로그 팩터만큼 감소한다. 둘째, 반복 과정이 진행될수록 편향된 분포가 점점 최적 클러스터링의 실제 크기 비율에 가까워지므로, 후회 감소율이 기하급수적으로 가속된다. 결국 전체 쿼리 비용이 동일할 때, 제안된 방법은 무작위 선택보다 더 높은 정확도와 낮은 후회를 달성한다. 실험 결과도 synthetic 및 실세계 데이터셋에서 평균 30 % 이상의 쿼리 절감 효과와 15 % 이상의 클러스터링 품질 향상을 입증한다.