DETOX: 중복 기반 빠르고 견고한 그래디언트 집계 프레임워크

본 논문은 분산 머신러닝 환경에서 발생할 수 있는 최악의 경우인 Byzantine(악의적) 노드 실패에 대비한 새로운 프레임워크 DETOX를 제안한다. 기존 연구는 크게 두 갈래로 나뉜다. 첫 번째는 파라미터 서버에서 평균 대신 강인 집계기(geometric median, Krum, Bulyan 등)를 사용해 악의적 업데이트를 억제하는 방법이며, 이들은 계산 복잡도가 O(p² d)로 급격히 증가하고, 보증이 약하거나 차원 제한이 있다. 두 번째는 중복(코딩) 기반으로 각 노드에 동일한 작업을 여러 번 할당해 다수결로 오류를 제거하는 방식인데, 이는 Byzantine 노드 수 q 에 비례해 O(q) 배의 연산을 요구해 비현실적이다. DETOX는 이 두 접근법을 결합한다. 시스템 모델은 p 개의 컴퓨팅 노드와 q 개의 Byzantine 노드(γ = q/p < 0.5)이며, 파라미터 서버가 전체 데이터를 보유한다. 알고리즘은 다음과 같다. 1) 파라미터 서버는 노드들을 크기 r (홀수)인 그룹 A₁,…,A_{p/r} 으로 고정 파티셔닝한다. 2) 각 그룹은 동일한 미니배치 S_j (크기 br/p) 를 할당받아 동일한 그래디언트 g_j 를 계산한다. 3) 각 노드가 반환한 \hat g_i 에 대해 그룹 내 다수결을 수행해 투표 z_j 를 만든다. 다수결이 없으면 z_j = 0으로 처리한다. 이 단계는 “필터링 단계”라 불리며, r이 로그 수준이면 Byzantine 투표 비율 γ̂ 을 상수 수준으로 감소시킨다(정리 1, 2). 그 다음, 파라미터 서버는 HIER‑AGGR이라는 계층적 집계 프로세스를 적용한다. 투표들을 크기 k 인 “투표 그룹”으로 무작위 분할하고, 각 그룹에 대해 사용자 지정 집계기 A₀(보통 평균)를 적용한다. 이후, 이 k 개의 중간 결과에 강인 집계기 A₁(geometric median, Bulyan, Multi‑Krum 등)을 적용해 최종 그래디언트 Ĝ 를 얻는다. 이 구조는 Median‑of‑Means와 유사해, 소수의 남은 Byzantine 투표가 전체에 미치는 영향을 추가로 억제한다. 이론적 분석에서는 r ≈ log q 이면 고확률로 남는 Byzantine 투표 수가 O(1)임을 보이며, 따라서 A₁에 대한 입력 규모가 상수이므로 A₁의 복잡도는 무시할 수 있다. 전체 연산 복잡도는 O(r T + p d) ≈ O(log q·T + p d)이며, 기존 강인 집계기의 O(p² d)와 비교해 거의 선형 수준이다. 실험은 실제 클라우드 환경에서 ResNet‑18을 CIFAR‑10에 학습시켜 수행되었다. “a little is enough” 공격(논문