집단 학습 프레임워크

초록

본 논문은 분산 반지도 학습 환경에서 각 에이전트가 자체 라벨 데이터로 사전 학습한 뒤, 공유된 비라벨 데이터를 이용해 합의 기반 프록시 라벨을 생성·교환함으로써 전체 시스템의 성능을 향상시키는 ‘집단 학습(Collective Learning, CL)’ 방식을 제안한다. 이 과정은 자기‑학습 단계와 집단‑학습 단계로 구분되며, 이질적인 모델 구조와 계산 자원을 가진 에이전트들이 프라이버시를 유지하면서 협업할 수 있음을 실험을 통해 입증한다.

상세 분석

본 연구는 분산 반지도 학습을 위한 새로운 협업 메커니즘인 집단 학습(Collective Learning, CL)을 제시한다. CL은 두 단계로 구성된다. 첫 번째 단계인 자기‑학습(self‑training)에서는 각 에이전트가 자신의 라벨이 부착된 로컬 데이터 Dᵢ,ₜ만을 이용해 모델 파라미터 θᵢ를 최적화한다. 이때 사용되는 손실 함수 Φᵢ와 업데이트 규칙 Uᵢ는 에이전트가 선택한 학습 알고리즘(SGD, Adam 등)과 모델 구조( shallow NN, deep NN, CNN 등)에 따라 자유롭게 정의될 수 있다. 두 번째 단계인 집단‑학습(collective training)에서는 공유된 비라벨 데이터 Dₛ를 순차적으로 샘플링하고, 각 에이전트는 현재 파라미터 θᵢ를 이용해 예측값 zᵢ를 계산한다. 이후 인접 에이전트들로부터 받은 예측값을 가중 평균(wᵢⱼ)으로 결합하고, 이를 라벨 변환 연산자 lbl