연합 환경에서 이질적 데이터를 위한 원칙 기반 랜덤 포레스트

초록

FedForest는 수평 연합 학습 상황에서 클라이언트 간 데이터 이질성을 고려한 랜덤 포레스트 알고리즘이다. 중앙집중식 CART와 동일한 impurity 기준을 유지하도록 설계된 분할 후보 생성과 통계 집계 방식을 제안하고, 클라이언트 인디케이터를 특성으로 활용해 비파라메트릭 개인화도 가능하게 한다. 이론적 근사 보증과 통신 효율성을 바탕으로, 다양한 이질성 시나리오에서 중앙 모델에 근접한 성능을 보인다.

상세 분석

본 논문은 연합 학습(Federated Learning) 환경에서 비선형, 비파라메트릭 모델인 랜덤 포레스트(Random Forest, RF)를 어떻게 정확히 중앙집중식 학습과 동일한 의사결정 과정을 유지하면서 분산 학습할 수 있는지를 체계적으로 탐구한다. 핵심 아이디어는 CART의 분할 기준인 impurity reduction을 클라이언트별 통계량만을 이용해 정확히 재구성하는 것이다. 이를 위해 저자들은 두 단계의 메커니즘을 제시한다. 첫 번째는 연합 양자 스케치(Federated Quantile Sketching) 로, 각 클라이언트가 로컬 노드 데이터에 대해 B개의 경험적 분위수를 계산하고 이를 서버에 전송한다. 서버는 각 클라이언트의 분위수를 선형 보간해 로컬 CDF를 복원하고, 클라이언트 샘플 수 가중치를 적용해 전체 혼합 CDF를 추정한다. 이 혼합 CDF의 내부 분위수를 후보 분할점으로 사용함으로써, 중앙에서 전체 데이터를 정렬해 얻는 정확한 중간값 후보와 거의 동일한 분할 후보 집합을 얻는다. 정리 3.1·3.2는 재구성된 CDF와 실제 경험적 CDF 사이의 최대 오차가 1/B 이하이며, 따라서 후보 분할점이 원본 중앙 후보와 최대 3/(2B) 비율만큼만 샘플 할당을 다르게 만든다는 것을 보인다. 두 번째 단계는 정확한 impurity 계산이다. CART의 impurity(분산, Gini 등)은 샘플 수와 레이블 합계, 제곱합 등 가법적 충분 통계(sufficient additive statistics) 로 표현될 수 있다. 각 클라이언트는 이러한 통계량을 노드별로 집계해 서버에 전송하고, 서버는 단순 합산을 통해 전체 데이터에 대한 impurity와 impurity reduction을 정확히 복원한다. 따라서 분할 선택은 중앙집중식 CART와 동일한 최적값을 선택한다.

이 메커니즘은 데이터 이질성을 세 가지 시나리오로 구분해 분석한다. (1) 동질적(Homogeneous) 경우는 클라이언트가 동일한 P(X,Y)를 공유하므로 클라이언트 인디케이터 H는 예측에 기여하지 않는다. (2) 공변량 이동(Covariate Shift) 상황에서는 P(X|H)만 다르고 P(Y|X)​는 동일하므로, 중앙 모델은 전체 특성 공간을 커버하기 위해 클라이언트 간 지원(support) 차이를 보완해야 한다. 제안된 양자 스케치는 이러한 비중첩 지원을 정확히 포착한다. (3) 결과 이동(Outcome Shift), 즉 클라이언트 효과가 존재하는 경우에는 H 자체를 범주형 특성으로 취급해 분할에 포함시킬 수 있다. FedForest는 별도 통신 비용 없이 H를 특성으로 다루어 비파라메트릭 개인화를 구현한다.

또한, 동질적 환경에서 통신량을 더욱 절감하기 위한 AvgImp 방법을 제안한다. 여기서는 각 클라이언트가 로컬 impurity 감소값을 직접 전송하고, 서버가 평균을 취해 전역 impurity 감소를 근사한다. 저자는 유한 표본에 대한 오차 경계를 제공해 이 근사가 충분히 정확함을 증명한다.

알고리즘 구현 측면에서 FedForest는 전통적인 RF와 동일하게 부트스트래핑, 특성 서브샘플링, 트리 깊이 제한 등을 적용한다. 각 트리는 독립적으로 클라이언트 통계만을 사용해 성장하며, 트리 간 병렬화가 가능해 연합 환경에서 높은 확장성을 보인다. 실험에서는 합성 데이터와 의료·금융·광고 등 실제 이질성 데이터셋을 사용해 중앙집중식 RF와 거의 동일한 정확도(또는 AUC)를 달성하면서, 기존 로컬-앙상블 방식보다 통신 비용을 크게 절감함을 입증한다.

전반적으로 본 논문은 “분할 후보 생성 → impurity 계산 → 트리 성장”이라는 전통적인 CART 파이프라인을 통계적 가법성과 양자 스케치라는 두 가지 핵심 도구로 연합 학습에 매핑함으로써, 기존의 휴리스틱 기반 연합 트리 방법이 갖는 이론적 빈틈을 메우고, 데이터 이질성을 정량적으로 다루는 최초의 원칙 기반 프레임워크를 제공한다.