연합 학습에서의 특성 불일치 해결: 선형 예측을 위한 두 단계 접근법

초록

본 논문은 연합 학습 환경에서 클라이언트마다 관측 가능한 특성이 서로 다르게 제한되는 ‘특성 불일치’ 문제를 다룬다. 저차원에서는 충분통계량을 집계해 공분산과 교차모멘트를 추정하고, 이를 이용해 각 클라이언트별 최적 선형 예측기를 플러그인 방식으로 구성한다. 고차원에서는 ‘Impute‑then‑Regress’ 전략을 제안해, 교환가능성을 보장하는 임퓨테이션 절차로 결측 특성을 보완한 뒤 릿지 회귀를 수행한다. 두 방법 모두 전역 위험과 로컬 위험에 대한 유한표본 및 점근적 수렴률을 제공하며, 클라이언트 간 상관관계를 활용해 새로운 클라이언트에도 일반화 가능함을 입증한다.

상세 분석

이 논문은 연합 학습(Federated Learning)에서 흔히 가정되는 ‘수평적’ 데이터 분할을 넘어, 각 클라이언트가 서로 다른 특성 집합을 관측하는 상황, 즉 ‘covariate mismatch’를 체계적으로 모델링한다. 저자는 이를 블록형 결측(Block‑wise Missing Completely At Random, MCAR)으로 정의하고, 클라이언트 인덱스 H와 (X, Y) 사이의 독립성을 가정함으로써 전역적인 데이터 분포는 동일하지만 관측 마스크 M이 클라이언트마다 달라지는 구조를 설정한다. 이때 전체 특성 차원 d와 각 클라이언트의 관측 집합 obs(k) 사이의 관계를 명시적으로 이용한다는 점이 핵심이다.

첫 번째 기여는 저차원(d≪n) 상황에서의 플러그인 추정법이다. 전체 공분산 Σ와 교차모멘트 γ를 각 클라이언트가 로컬 충분통계량(예: X·Xᵀ, X·Y)을 한 번만 서버에 전송하도록 설계하고, 서버는 이를 집계해 전역 추정치 (\hat Σ, \hat γ)를 만든다. 이후 각 클라이언트는 자신이 관측하는 서브매트릭스 (\hat Σ_{obs(k)})와 서브벡터 (\hat γ_{obs(k)})를 추출해 (\hat θ^{PI}(k)=\hat Σ_{obs(k)}^{-1}\hat γ_{obs(k)})를 계산한다. 중요한 점은 ‘Zero‑Impute’ 방식으로 결측을 0으로 채우면 편향이 발생하지만, 역전파 가중치(Inverse Propensity Weighting, IPW)를 적용해 요소별로 관측 확률 Π_{lj} 로 나누면 편향을 제거할 수 있다는 것이다. 저자는 Π_{lj}>0인 모든 (l,j) 쌍에 대해 일관성을 증명하고, 새로운 클라이언트가 등장해도 관측 가능한 특성 쌍이 충분히 교차 관측된다면 동일한 수렴성을 보장한다. 이는 기존의 ‘모든 클라이언트가 동일한 특성을 관측한다’는 가정보다 훨씬 완화된 조건이다.

두 번째 기여는 고차원(d≫n) 상황을 위한 Impute‑then‑Regress 전략이다. 여기서는 먼저 교환가능성을 만족하는 임퓨테이션 방법(예: MICE, GAN 기반, Optimal Transport 등)을 사용해 결측 특성을 보완한다. 저자는 임퓨테이션이 ‘exchangeability‑preserving’이면, 즉 클라이언트 간 데이터 분포가 동일하게 유지되는 경우, 보완된 데이터에 대해 릿지 회귀를 적용해 (\hat θ^{ridge})를 얻을 수 있음을 보인다. 중요한 정리는 Theorem 4.2로, 임퓨테이션 규칙에 관계없이 무조건적인 유한표본 위험 상한을 제공한다. 이 상한은 데이터의 유효 차원(effective dimension)과 정규화 파라미터 λ, 그리고 클라이언트별 샘플 비율 ρ_k에 명시적으로 의존한다. 따라서 특성 불일치가 심해도, 서로 다른 클라이언트가 제공하는 상관 정보를 통해 효과적인 차원 축소가 이루어지고, 릿지 회귀가 과적합을 억제한다는 점을 이론적으로 뒷받침한다.

또한 논문은 협업 학습이 로컬 학습보다 언제 이득이 되는지를 정량적으로 분석한다. 고차원·샘플이 희소한 상황에서는 각 클라이언트가 자체적으로 회귀를 수행할 경우 공분산 추정이 불안정해 과도한 분산이 발생한다. 반면 연합 임퓨테이션은 다른 클라이언트가 관측한 특성 쌍을 활용해 공분산의 ‘희소 행렬’을 보완하고, 결과적으로 효과 차원을 감소시켜 위험을 낮춘다. 이는 ‘positive collaborative learning’이라는 용어로 요약되며, 특히 관측 마스크가 서로 겹치는 정도가 충분히 높을 때(Π_{lj}가 큰 경우) 효과가 극대화된다.

실험적 검증 부분은 논문에 포함되지 않았지만, 제시된 이론적 결과는 실제 의료 데이터(병원 간 서로 다른 검사 항목)나 다중 센터 연구에서 바로 적용 가능하다. 특히 새로운 센터가 기존 연합에 참여하지 않더라도, 관측 가능한 특성 쌍이 기존 클라이언트와 겹친다면 즉시 최적에 가까운 선형 예측기를 얻을 수 있다는 점은 실용적 가치가 크다.

요약하면, 이 연구는 (1) 블록형 MCAR 하에서 전역 공분산을 정확히 복원하는 플러그인 방법, (2) 고차원에서 교환가능한 임퓨테이션과 릿지 회귀를 결합한 Impute‑then‑Regress 전략, (3) 두 방법 모두에 대한 점근적·유한표본 위험 분석을 제공함으로써, 연합 학습에서 특성 불일치를 체계적으로 해결하는 이론적·실무적 프레임워크를 제시한다.