네트워크 기반 개인화 모델을 위한 분산 협업 학습
본 논문은 각 에이전트가 자체 목적 함수를 갖는 개인화 모델을 학습하는 상황에서, 유사한 목표를 가진 이웃과의 비동기식 가십을 통해 모델을 개선하는 두 가지 완전 분산 알고리즘을 제안한다. 첫 번째는 사전 학습된 모델을 그래프 라벨 전파 방식으로 부드럽게 하는 ‘모델 전파’ 방법이며, 두 번째는 로컬 데이터와 이웃 행동을 동시에 고려해 ADMM 기반으로 최적화하는 ‘협업 학습’ 방법이다. 두 알고리즘 모두 수렴성을 이론적으로 증명하고, 평균 추…
저자: Paul Vanhaesebrouck, Aurelien Bellet, Marc Tommasi
본 논문은 피어‑투‑피어 네트워크 상에서 각 에이전트가 자신만의 학습 목표를 가지고 개인화 모델을 학습하는 상황을 다룬다. 전통적인 중앙집중식 혹은 서버‑기반 협업 학습은 모든 에이전트가 동일한 전역 모델을 목표로 하거나, 중앙 서버가 통신·조정을 담당한다는 한계가 있다. 저자는 이러한 제약을 벗어나, 에이전트들이 서로 직접 통신하면서도 각자의 목적을 유지할 수 있는 완전 분산 알고리즘을 설계한다.
**1. 문제 정의 및 기본 가정**
- 에이전트 집합 V={1,…,n} 각각은 로컬 데이터 S_i (크기 m_i)와 손실 함수 ℓ(θ;x,y) 를 가진다.
- 목표는 각 에이전트 i가 파라미터 θ_i ∈ℝ^p 를 찾아 E_{(x,y)∼μ_i}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기