분산 이중 평균을 이용한 지수적 빠른 파라미터 추정
본 논문은 네트워크에 분산된 에이전트들이 i.i.d. 관측 신호를 통해 전역적으로 식별 가능한 파라미터를 학습하는 문제를, 베이즈 학습을 KL 발산을 이용한 프로시멀 함수로 보는 최적화 관점에서 접근한다. Nesterov의 이중 평균(Dual Averaging) 알고리즘을 변형한 온라인 분산 버전을 무작위 가십(gossip) 스킴과 결합하여, 단위 고정 스텝 사이즈만으로도 각 에이전트가 확률적으로 지수적 수렴률을 보이며 진정한 파라미터를 학습함…
저자: Shahin Shahrampour, Ali Jadbabaie
본 논문은 “분산 파라미터 추정”이라는 문제를 최적화 관점에서 재해석한다. 먼저, 에이전트 집합 V={1,…,n}이 존재하고, 각 에이전트 i는 시점 t마다 사적 관측 s_{i,t}∈S_i를 받는다. 관측은 i.i.d.이며, 각 상태 θ_j∈Θ에 대한 조건부 확률 ℓ_i(s|θ_j) 가 존재한다. 전역 식별성(A1) 가정에 따라, 모든 에이전트가 관측을 모으면 유일한 진정한 상태 θ*를 식별할 수 있다.
문제는 θ*를 찾는 최대우도(MLE) 혹은 베이즈 MAP 추정으로 표현될 수 있다. 저자들은 이를 “μ∈Δ_Θ 위에서 f(μ)=∑_{i}E_{θ*}
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기