분산형 도메인 일반화와 스타일 공유: 이론적 모델 및 수렴 분석

초록

본 논문은 피어‑투‑피어 네트워크에서 스타일 통계 정보를 교환함으로써 도메인 일반화(DG)를 달성하는 새로운 분산 연합 학습 알고리즘 StyleDDG를 제안한다. 기존 중앙집중식 및 스타‑토폴로지 기반 DG 연구의 수학적 정의가 부족하다는 점을 지적하고, 스타일 기반 DG 목표 함수를 정형화한 뒤, 이를 분산 환경에 적용한 수렴 조건을 이론적으로 증명한다. 실험 결과, StyleDDG는 통신 비용을 최소화하면서도 목표 도메인에 대한 정확도가 기존 분산 SGD 기반 방법보다 크게 향상됨을 보여준다.

상세 분석

StyleDDG는 기존 DG 연구에서 흔히 사용되는 “스타일 기반” 접근법을 분산 환경에 맞게 재구성한 것이 핵심이다. 논문은 먼저 AdaIN(Adaptive Instance Normalization)과 고차 통계(평균·표준편차·분산) 추출 과정을 수식으로 명시하고, 이를 통해 각 디바이스가 로컬 배치에서 얻은 스타일 통계(µ,σ,Σ²µ,Σ²σ)를 이웃 노드와 교환한다. 교환된 스타일은 두 단계의 변환 과정을 거친다. 첫 번째는 이웃 스타일을 이용해 원본 배치의 일부를 스타일‑시프트하고, 두 번째는 시프트된 샘플과 원본 샘플을 혼합(MixStyle)하여 새로운 스타일 공간을 탐색한다. 이렇게 생성된 “확장된” 배치는 기존 배치와 동일한 크기를 유지하면서도 더 다양한 도메인 변동성을 학습에 제공한다.

이론적 분석에서는 먼저 기존 중앙집중식 DG 알고리즘(예: MixStyle, DSU)을 일반화된 목적 함수 형태로 정리한다. 목적 함수는 (1) 로컬 손실 L_i(θ_i)와 (2) 스타일 변환에 의해 생성된 가상 샘플에 대한 손실의 평균을 가중합한 형태이며, 각 항은 L‑smoothness와 강한 볼록성(Strong Convexity) 가정 하에 정의된다. 이후 분산 네트워크 G=(M,E) 위에서 동기식 평균합(consensus) 업데이트를 적용한 경우, 각 디바이스 i의 파라미터 θ_i^{t+1}=∑{j∈N_i∪{i}} w{ij}θ_j^{t}−η∇θ L_i^{style}(θ_i^{t}) 로 표현한다. 여기서 w{ij}는 doubly‑stochastic 가중치 행렬이며, η는 학습률이다.

수렴 증명은 두 단계로 진행된다. 첫 번째 단계는 가중치 행렬이 연결 그래프에서의 평균합 프로퍼티를 만족한다는 점을 이용해 모든 디바이스가 파라미터 평균 θ̄^{t}= (1/m)∑_i θ_i^{t} 로 수렴함을 보인다. 두 번째 단계는 θ̄^{t}에 대한 전역 목적 함수 F(θ)= (1/m)∑_i F_i(θ) 가 L‑smooth하고 μ‑strongly convex하다는 가정 하에, 표준 SGD 수렴 결과를 적용해 η가 충분히 작고, 스타일 변환에 의해 추가된 변동성(variance) term이 bounded(≤σ²)임을 보인다. 최종적으로, 0<η<2/(L+μ) 범위 내에서 E