수직 연합 클러스터링을 위한 탈중앙화 구조 합의 프레임워크

초록

VertCoHiRF는 각 참여자가 자신의 로컬 특징 공간에서 자유롭게 선택한 클러스터링 알고리즘을 적용하고, 샘플 식별자와 순위 정보만을 교환함으로써 전역적인 구조적 합의를 달성하는 탈중앙화 수직 연합 클러스터링 방법이다. 중앙 조정자 없이 피어‑투‑피어 방식으로 진행되며, 개인정보는 원천 데이터가 절대 전송되지 않아 설계 단계부터 프라이버시가 보장된다. 계층적 클러스터 융합 계층(CFH)을 생성해 다중 해상도의 해석 가능성을 제공하고, 이론적 통신 복잡도와 내결함성을 분석하였다. 실험 결과, 기존 k‑means 기반 수직 연합 클러스터링 대비 경쟁력 있는 성능을 보였다.

상세 분석

VertCoHiRF는 수직 연합 학습(VFL) 환경에서 기존 방법이 갖는 ‘단일 전역 목표와 수치 통계 교환’이라는 한계를 근본적으로 탈피한다. 핵심 아이디어는 “진정한 전역 구조는 서로 다른 특징 뷰에서도 일관되게 나타난다”는 구조적 합의 원칙이다. 이를 위해 각 에이전트는 로컬 특징 집합 Pa 에 대해 자유롭게 베이스 클러스터링 메소드(BCM)를 선택한다. 예를 들어, 한 에이전트는 밀도 기반 DBSCAN을, 다른 에이전트는 계층적 클러스터링을 사용할 수 있다. 각 에이전트는 활성 메디오이드 집합 K(e‑1) 에 대해 로컬 클러스터링을 수행하고, 샘플 식별자와 클러스터 라벨 L(e)a 만을 브로드캐스트한다. 라벨은 에이전트별로 연결(concat)되어 구조 코드 L(e) 를 형성하고, 동일 코드를 공유하는 샘플 쌍을 ‘합의 클러스터’로 정의한다.

그 다음 단계에서는 각 합의 클러스터 내부에서 에이전트별 순위 리스트를 교환한다. 순위는 로컬 특징에 기반한 거리 혹은 중심성 점수에 따라 정해지며, 모든 에이전트의 순위 위치 rank_a(m) 를 합산해 전역 점수 S(m)=∑_a rank_a(m) 을 계산한다. 점수가 최소인 샘플을 해당 클러스터의 대표 메디오이드로 선정하고, 이 메디오이드 집합 K(e) 가 다음 반복의 활성 샘플이 된다. 이렇게 메디오이드 수가 점진적으로 감소하면서 계층적 구조가 형성되고, 최종적으로는 부모‑자식 관계를 기록한 Cluster Fusion Hierarchy(CFH)가 구축된다.

통신 복잡도 분석에 따르면, 각 반복에서 교환되는 데이터는 라벨(클러스터 수 C_a 에 대한 로그 비트)와 순위 리스트(활성 메디오이드 수 n(e) 에 대한 로그 비트)뿐이다. 따라서 전체 비트 비용 b(e) 은 A(A‑1)·h·n(e‑1)·log₂(max C_a)+n(e)·N_s·log₂(n) 으로, 샘플 수에 선형, 에이전트 수에 이차적으로 스케일한다. 이는 기존 중앙집중형 k‑means 변형보다 훨씬 효율적이며, 피어‑투‑피어 전송만으로도 충분히 동작한다.

내결함성 측면에서는 ‘에이전트 레벨 거부(veto)’ 메커니즘을 도입해 다수결이 아닌, 어떤 에이전트라도 특정 클러스터링 결과를 반박하면 해당 그룹은 합의에서 제외된다. 이는 비잔틴 공격이나 악의적 에이전트가 임의의 라벨을 전파하더라도 전체 합의에 큰 영향을 미치지 못하도록 설계된 것이다.

실험에서는 합성 데이터와 실제 의료·금융 데이터셋을 사용해, 서로 다른 로컬 클러스터링 전략을 결합했을 때도 전역적인 클러스터 품질(NMI, ARI)이 기존 k‑means 기반 VFL 방법과 동등하거나 우수함을 확인했다. 특히, 비선형 구조를 가진 데이터에서 로컬에 맞춤형 비k‑means 알고리즘을 적용했을 때 성능 격차가 두드러졌다.

요약하면, VertCoHiRF는 (1) 구조적 합의를 통한 프라이버시 보장, (2) 완전 탈중앙화 피어‑투‑피어 통신, (3) 로컬 클러스터링 방법의 자유로운 선택, (4) 계층적 해석 가능성 제공, (5) 비잔틴 내성이라는 다섯 가지 핵심 장점을 결합한 새로운 수직 연합 클러스터링 프레임워크라 할 수 있다.