연합 싱크혼

초록

본 논문은 행 기반으로 파티셔닝된 엔트로피 정규화 최적 수송(Gibbs 커널) 행렬을 중앙에 모을 수 없는 환경에서, 스케일링 벡터만을 교환하는 두 가지 동기식 프로토콜인 All‑to‑All와 Star(파라미터‑서버) 방식을 제안한다. α‑β 지연·대역폭 모델을 이용해 각 반복당 연산·통신·메모리 비용을 정량화하고, 표준 양성 가정 하에 중앙집중식 Sinkhorn과 동일한 수렴성을 보인다. 다중 노드 CPU/GPU 실험을 통해 통신 비용이 병목임을 확인하고, 제한 지연 비동기 스케줄 및 로그 스케일링에 대한 차등 프라이버시 측정 레이어도 옵션으로 제공한다.

상세 분석

연합 싱크혼(Federated Sinkhorn)은 기존 Sinkhorn‑Knopp 알고리즘을 분산 환경에 그대로 적용할 수 없다는 현실적인 제약을 극복하기 위해 설계되었다. 핵심 아이디어는 행‑파티셔닝된 Gibbs 커널 K를 각 워커가 로컬에 보관하고, 전역 마진을 만족시키기 위해 스케일링 벡터 u와 v만을 교환한다는 점이다. 두 가지 통신 토폴로지를 제시했는데, 첫 번째는 All‑to‑All 방식으로 모든 워커가 Allgather 집합 연산을 통해 전역 u와 v를 동기화한다. 이 경우 각 워커는 로컬 K·v와 Kᵀ·u 연산을 수행한 뒤, Allgather를 두 번(한 번은 v를, 한 번은 u를) 수행한다. 두 번째는 Star 방식으로, 중앙 서버가 전체 커널을 보유하거나 K·v·Kᵀ·u 연산을 수행하고, 워커는 스케일링 슬라이스만 전송·수신한다. 이 구조는 클라이언트‑투‑서버 전송(SR)과 서버‑투‑클라이언트 브로드캐스트(BC)를 각각 두 번 사용한다.

연산 비용 모델은 로컬 매트벡터 연산 시간 t_mv(m,n)와 원소별 스케일링 업데이트 시간 t_ew(m)을 합산해 2·t_mv + t_ew 로 근사한다. 통신 비용은 α‑β 모델 T_p2p(B)=α+β·B 로 정의하고, Allgather, Broadcast, Send/Recv 각각에 대해 실험 기반으로 α와 β를 추정한다. 이를 통해 All‑to‑All의 반복당 비용은 2·t_mv + 2·T_AG, Star 방식은 2·t_srv_mv + 2·T_BC + 2·T_SR 로 표현된다. 특히 Star에서는 서버가 수신하는 데이터가 슬라이스 단위이므로 업링크 비용이 (c‑1)·α_SR + β_SR·B/c 로 감소한다는 점이 강조된다.

메모리 측면에서는 All‑to‑All이 각 워커에 전역 u와 v를 저장하도록 요구해 Θ(n) 메모리를 필요로 하는 반면, Star는 워커당 Θ(m) 메모리만 필요하고 서버가 전체 메모리를 차지한다. 이는 대규모 n에 대해 Star가 메모리 효율이 높다는 결론을 낳는다.

수렴 이론은 K가 양의 원소를 갖는 경우, 두 프로토콜 모두 중앙집중식 Sinkhorn과 동일한 스케일링 (u,v) 를 생성함을 증명한다. 비동기 옵션에서는 bounded‑delay(stale‑synchronous) 모델을 도입해 최대 지연 w를 제한하고, η∈(0,1] 로 조절되는 감쇠 스케일링을 적용한다. 이 경우 η=1이면 정확한 Sinkhorn과 동일하게 수렴하고, η<1이면 지연에 의한 진동을 완화한다.

프라이버시 측면에서는 로그 스케일링 값을 차등 프라이버시(DP) 메커니즘으로 보호하는 레이어를 제안한다. 클라이언트가 전송하는 로그(u)·또는·로그(v) 에 가우시안 노이즈를 추가해 (ε,δ)‑DP를 보장하고, 전체 파이프라인에 대한 프라이버시 손실을 정량화한다.

실험에서는 CPU와 GPU 클러스터에서 n=10⁶10⁷ 규모의 OT 문제를 대상으로 c=264 워커까지 확장성을 평가했다. 결과는 모델이 예측한 대로 워커 수가 증가함에 따라 통신 시간이 지배적으로 증가하고, 특히 All‑to‑All이 c² 규모의 Allgather 비용 때문에 빠르게 병목이 발생한다는 것을 보여준다. 반면 Star는 서버‑중심 구조 덕분에 선형적인 확장성을 보였으며, 메모리 사용량도 워커당 O(m) 수준에 머물렀다. 비동기 실험에서는 지연 w=5 이하에서 η=0.8 감쇠가 수렴 속도를 크게 저하시키지 않으며, 프라이버시 레이어를 적용해도 최종 OT 비용에 미치는 영향이 미미함을 확인했다.

종합하면, 연합 싱크혼은 행‑파티셔닝된 대규모 엔트로피 정규화 OT를 실제 기업·연구 환경에 적용할 수 있는 실용적인 프레임워크를 제공한다. 통신·연산·메모리 모델을 통해 토폴로지 선택을 정량적으로 안내하고, 비동기·프라이버시 옵션을 통해 다양한 배포 제약을 수용한다.