동적 환경을 위한 분산 미러 디센트 기반 온라인 최적화

본 논문은 시간에 따라 변하는 전역 목적함수 fₜ(x)= (1/n)∑ᵢ fᵢ,ₜ(x)를 최소화해야 하는 다중 에이전트 시스템을 대상으로, 온라인 및 분산 환경에서의 최적화 알고리즘을 설계하고 이론적으로 분석한다. 문제 설정은 두 가지 핵심 제약을 포함한다. 첫째, 각 에이전트 i는 매 시점 t에 자신에게 할당된 로컬 손실 fᵢ,ₜ만을 관측하고, 미래의 손실은 알 수 없는 온라인 상황이다. 둘째, 전역 최적해 xₜ*는 알려진 선형 동역학 xₜ₊₁* = A xₜ* + vₜ에 따라 진화하지만, vₜ는 구조를 알 수 없는 적대적 노이즈이며, 이는 실제 시스템에서 모델링 오류나 외란을 의미한다. 이러한 설정 하에, 저자들은 전통적인 분산 그래디언트 하강법을 일반화한 **분산 미러 디센트(Distributed Mirror Descent)** 알고리즘을 제안한다. 알고리즘은 매 시점 t에 다음과 같은 세 단계로 진행된다. 1. **미러 디센트 단계**: 각 에이전트 i는 현재 추정 xᵢ,ₜ에 대해 로컬 그래디언트 ∇fᵢ,ₜ(xᵢ,ₜ)를 계산하고, Bregman 발산 D_ψ(·‖·)을 이용해 업데이트한다. 구체적으로, yᵢ,ₜ₊₁ = argmin_{y∈X} { ⟨∇fᵢ,ₜ(xᵢ,ₜ), y⟩ + (1/ηₜ) D_ψ(y‖xᵢ,ₜ) } 여기서 ψ는 1‑강컨벡스 함수이며, ηₜ는 학습률이다. 2. **동적 보정 단계**: 알려진 동역학 A를 이용해 예측값을 계산한다. zᵢ,ₜ₊₁ = A yᵢ,ₜ₊₁ 이는 전역 최적해가 A에 따라 변한다는 사전 지식을 활용하는 부분으로, 적대적 노이즈 vₜ가 존재하더라도 예측을 통해 레짐을 감소시킬 수 있다. 3. **합의(Consensus) 단계**: 인접 에이전트와 정보를 교환한다. xᵢ,ₜ₊₁ = Σ_{j∈Nᵢ} W_{ij} zⱼ,ₜ₊₁ 여기서 W는 대칭, doubly‑stochastic 가중치 행렬이며, λ₂(W) (두 번째 고유값) 가 네트워크 연결성을 나타낸다. 알고리즘은 이 세 단계를 순차적으로 수행함으로써, 로컬 손실 최소화, 동적 모델 보정, 그리고 네트워크 전반의 일관성을 동시에 달성한다. 이론적 분석에서는 **동적 레짐(dynamic regret)** Regᵈ_T = (1/n) Σᵢ Σₜ