연합 삭제 효율을 높이는 파레토 최적화 프레임워크 FUPareto

초록

본 논문은 연합 학습 환경에서 특정 클라이언트 데이터를 효율적으로 삭제하면서 남은 클라이언트의 모델 성능을 유지하는 새로운 프레임워크 FUPareto를 제안한다. 핵심 아이디어는 최소 경계 이동(MBS) 손실을 통해 목표 클래스 로그잇을 최소한으로 낮추고, 파레토 개선·확장 단계를 교대로 수행해 유틸리티와 망각 사이의 갈등을 완화한다. 또한, 다중 기울기 하강법(MGDA) 기반의 영공 투영을 도입해 다중 클라이언트 동시 삭제 시 발생하는 기울기 충돌을 해소한다. 실험 결과, 기존 연합 삭제 기법 대비 망각 효과와 유지 성능 모두에서 우수함을 입증한다.

상세 분석

FUPareto는 연합 삭제(FU) 문제를 다목적 최적화 관점에서 재구성한다. 기존 방법은 로그잇을 0으로 강제하거나 출력 분포를 균일하게 만들면서 MIA(멤버십 추론 공격) 위험을 증가시키거나 유틸리티 손실을 초래한다. 저자는 이러한 한계를 극복하기 위해 Minimum Boundary Shift(MBS) 손실을 설계하였다. MBS는 각 샘플의 정답 로그잇 z_i,c와 두 번째로 큰 로그잇 z_i,next 사이의 차이를 마진 δ(10⁻³)보다 크게 만들면 손실이 0이 되도록 ReLU 형태로 정의한다. 즉, 정답 클래스가 최상위가 되지 않도록 최소한의 경계 이동만을 요구함으로써 파라미터 변동을 최소화하고, 비정상적인 출력 분포를 방지해 MIA에 대한 내성을 높인다.

파레토 개선 단계에서는 다중 기울기 하강법(MGDA)을 이용해 모든 클라이언트(망각 대상 U, 유지 대상 R, 공정성 가이드 p)의 로스를 하나의 공통 하강 방향 g_t^d로 결합한다. 구체적으로 각 로스의 기울기 g_t^u, g_t^r, g_t^p를 행렬 G_t에 concatenate하고, λ를 구하는 2차 프로그램을 풀어 가중치를 얻는다. 이 λ는 각 목표에 대한 기여도를 자동 조정해, 초기 단계에서는 g_t^u·g_t^d>0 및 g_t^r·g_t^d>0 을 만족시켜 동시에 망각과 유틸리티 향상을 달성한다.

하지만 최적화가 로컬 파레토 프론티어에 도달하면 더 이상 두 목표를 동시에 개선할 수 없는 파레토 정체 현상이 발생한다. 이를 극복하기 위해 저자는 파레토 확장 단계에서 영공(null‑space) 투영을 적용한다. 구체적으로 g_t^u 를 영공에 투영해 g_t^{u,⊥}를 얻고, 이를 g_t^d 에 추가함으로써 망각 손실을 더 강하게 감소시키면서도 유지 손실에 대한 손상을 최소화한다. 확장 후 다시 파레토 개선을 수행해 모델을 프론티어 근처로 복귀시키는 과정을 반복함으로써 “깊은 망각”과 “유틸리티 보전” 사이의 균형을 지속적으로 조정한다.

다중 클라이언트 동시 삭제 상황에서는 각 망각 클라이언트 간에도 기울기 충돌이 발생한다. 영공 투영 기반 MGDA는 이러한 충돌을 해소하고, 공정성 가이드 F_p (벡터 p 는 망각 클라이언트에 0, 유지 클라이언트에 1을 할당) 를 포함시켜 망각 정도의 불균형을 최소화한다. 실험에서는 CIFAR‑10/100, FEMNIST 등 다양한 데이터셋과 비동질적 데이터 분포에서 FUPareto가 기존 FedEraser, FedOSD, SFU 등을 능가함을 보였다. 특히 MIA 성공률을 크게 낮추면서도 전체 정확도 손실을 최소화하는 점이 두드러졌다.

요약하면, FUPareto는 (1) 최소 경계 이동 손실로 망각 효율을 극대화, (2) 파레토 개선·확장 메커니즘으로 유틸리티‑망각 트레이드오프를 동적으로 관리, (3) 영공 투영 MGDA로 다중 클라이언트 동시 삭제 시 발생하는 기울기 충돌을 해소한다는 세 가지 핵심 기여를 제공한다.