비균형 유향 그래프에서 제약 최적화를 위한 분산 랜덤‑고정 투사 알고리즘

초록

본 논문은 각 노드가 자신의 목적함수와 제약조건만을 알고 있는 상황에서, 균형되지 않은(비대칭) 유향 그래프 위의 합성 목적함수를 최소화하는 분산 최적화 문제를 다룬다. 목적함수를 에피그래프 형태로 변환해 선형 목표를 얻고, 두 단계의 재귀적 업데이트(무작위 투사와 고정 방향 보정)를 결합한 새로운 알고리즘을 제안한다. 강하게 연결된 비균형 digraph에서도 모든 노드가 동일한 최적해로 수렴함을 증명하고, 시뮬레이션을 통해 실효성을 확인한다.

상세 분석

이 연구는 기존 분산 최적화 문헌이 대부분 균형(doubly‑stochastic) 혹은 무향 그래프를 전제로 하는 한계를 극복하고자 한다. 핵심 아이디어는 원래의 비선형 목적함수를 에피그래프(epigraph) 형태로 변환함으로써 모든 노드가 동일한 선형 목표 (c_0^{\top}y/n) 를 공유하도록 만든다. 이렇게 하면 Perron 벡터에 의한 가중치 불균형이 사라져, 비균형 그래프에서도 표준 분산 서브그라디언트 디센트(DGD)와 동일한 형태의 업데이트가 적용 가능해진다.

알고리즘은 두 단계로 구성된다. 첫 번째 단계에서는 가중치 행렬 (A) 에 기반한 평균화 연산을 통해 중간 상태 (p_k^j, y_k^j) 를 계산한다(식 9‑10). 여기서 (p_k^j) 는 보조 변수 (t) 의 평균, (y_k^j) 는 원 변수 (x) 의 평균을 의미한다. 두 번째 단계에서는 Polyak의 무작위 투사(Random‑Projected) 기법을 확장하여, 각 노드가 무작위로 선택한 제약 집합 (X_{\omega_k^j}^j) 에 대해 투사한다. 이때 (\beta\in(0,2)) 와 서브그라디언트 (u_k^j) 를 이용해 (z_k^j = y_k^j - \beta g_{\omega_k^j}^j(y_k^j) + |g_{\omega_k^j}^j(y_k^j)_+|,u_k^j) 를 계산한다. 이어서 고정 방향 보정 단계에서는 (f_j) 제약을 만족하도록 (x)와 (t) 를 동시에 업데이트한다(식 14‑15). 이 두 단계는 각각 목표 함수의 무제한 감소와 제약 집합으로의 수렴을 보장한다.

수학적 수렴 증명은 강하게 연결된 유향 그래프와 가중치 행렬 (A) 가 행확률(stochastic)임을 가정한다. Perron‑Frobenius 이론을 이용해 (\pi) 벡터가 존재함을 보이고, 무작위 투사 과정에서 기대 거리 (E