대역폭 인식 신경 서브스페이스 압축 기반 효율적 분할 학습

초록

NSC‑SL은 실시간 대역폭 제약을 고려해 저‑랭크 근사 차원을 동적으로 선택하고, 잔차 피드백을 이용한 교정 루프와 교대 정규 직교 반복을 통해 압축 손실을 최소화한다. 이를 통해 분할 학습에서 발생하는 활성값·그라디언트 전송량을 크게 줄이면서도 모델 수렴과 정확도를 기존 방법보다 크게 향상시킨다.

상세 분석

본 논문은 분할 학습(Split Learning, SL) 환경에서 발생하는 빈번한 전방·후방 통신 비용을 감소시키기 위해 두 단계의 핵심 메커니즘을 제안한다. 첫 번째는 **대역폭 인식 적응형 랭크 선택(BAS)**이다. 전통적인 저‑랭크 압축 기법은 고정된 랭크를 사용해 실제 텐서의 스펙트럼 특성과 네트워크 대역폭 변동을 무시한다. NSC‑SL은 랜덤 서브스페이스 방법을 이용해 전체 SVD를 수행하지 않고도 주요 특이값을 빠르게 추정한다. 추정된 특이값 분포와 사용 가능한 전송 바이트(B_max)를 기반으로 에너지 커버리지 비율(η)과 사전 정의된 랭크 상한(r_cap)을 동시에 만족하는 최소 랭크 r을 계산한다. 이 과정은 O(mnr) 복잡도로 실시간에 가까운 랭크 결정을 가능하게 하며, 대역폭이 제한될 때는 자동으로 압축 강도를 높이고, 여유가 있을 때는 더 높은 정확도를 유지한다.

두 번째는 **교대 정규 직교 서브스페이스 근사(OASA)와 오류 보정 루프(ECL)**이다. 전통적인 트렁케이티드 SVD는 한 번의 차원 축소 후 남는 잔차를 무시해 누적 오차가 발생한다. OASA는 좌·우 인자 행렬(P, Q)을 교대로 업데이트하면서 각 단계마다 직교화(ϕ)를 수행해 수치적 안정성을 확보한다. 여기서 핵심은 현재 잔차 E(t‑1)를 M에 더해 보정된 행렬을 사용한다는 점이다. 업데이트 후 새로운 잔차는 E(t)=β·E(t‑1)+(M‑ĤM(t)) 형태로 누적되며, β는 모멘텀 파라미터로 과거 오류를 적절히 재투입한다. 이렇게 하면 압축 과정에서 손실된 정보가 다음 반복에서 점진적으로 회복돼 최종 근사 ĤM이 Frobenius 노름에서 최적 저‑랭크 근사에 수렴한다. 알고리즘 복잡도는 O(mnr) 수준이며, 조기 종료 기준을 도입해 불필요한 반복을 방지한다.

실험에서는 HAM10000 피부 병변 이미지 데이터셋에 ResNet‑18을 적용해 5개의 클라이언트와 1개의 엣지 서버 환경을 구성하였다. 대역폭을 25~200 Mbps 구간으로 변화시켰을 때, NSC‑SL은 기존 A‑CPSGD, RandTopK, QSGD 대비 평균 MSE를 18.3 %~42.7 % 감소시키고, 정확도는 4.1 %~11.5 % 향상시켰다. 특히 압축 비율이 높은 상황에서도 테스트 손실이 급격히 증가하지 않아 학습 안정성이 뛰어나다는 점이 강조된다. Ablation 실험에서는 오류 보정 루프를 제거했을 때 정확도가 1.72 % 감소하고, 반복 횟수를 1회만 수행했을 때 0.91 % 감소하는 등, 두 구성 요소가 각각 모델 수렴에 미치는 영향을 정량적으로 입증하였다.

요약하면, NSC‑SL은 (1) 실시간 대역폭에 맞춰 최적 랭크를 자동 선택하는 적응형 메커니즘, (2) 잔차 피드백을 통한 반복적 저‑랭크 근사, (3) 경량화된 랜덤 서브스페이스 기반 특이값 추정이라는 세 가지 기술적 혁신을 결합한다. 이로써 분할 학습에서 발생하는 통신 병목을 크게 완화하면서도, 모델 정확도와 수렴 속도를 기존 압축 기법보다 현저히 개선한다.