수직 연합 학습에서 라벨 삭제를 위한 프라이버시 보장 혼합기법

초록

본 논문은 라벨이 민감 정보로 작용하는 수직 연합 학습(VFL) 환경에서, 소량의 공개 데이터만을 이용해 라벨을 효율적으로 삭제하는 방법을 제안한다. 저자는 표현 수준의 manifold mixup을 통해 합성 임베딩을 생성하고, 이를 기반으로 gradient ascent 기반 라벨 삭제와 보존 데이터에 대한 복구 최적화를 수행한다. 실험 결과, 다양한 이미지·텍스트 데이터셋에서 높은 삭제 효율과 최소 성능 저하를 입증한다.

상세 분석

본 연구는 수직 연합 학습(VFL)에서 라벨 삭제라는 아직 탐구가 부족한 문제에 초점을 맞추었다. VFL은 한쪽 파티가 라벨을, 다른 파티가 피처를 보유하는 구조로, 라벨 자체가 민감 정보가 될 경우 삭제 요구가 법적·윤리적으로 필수적이다. 기존 연합 학습에서의 삭제 기법은 대부분 수평 구조에 국한되었으며, 라벨이 아닌 피처나 클라이언트 전체를 대상으로 했다. 따라서 라벨만을 선택적으로 삭제하면서도 전체 모델 성능을 유지하는 방법이 필요했다.

논문은 세 가지 핵심 아이디어를 제시한다. 첫째, few‑shot 상황을 가정하고, 라벨 삭제에 필요한 데이터가 극히 제한적일 때도 효과를 발휘하도록 설계했다. 이를 위해 공개된 소량의 샘플을 활용해 representation‑level manifold mixup을 수행한다. 기존 mixup이 원본 피처를 직접 섞는 반면, 여기서는 각 파티의 로컬 임베딩을 섞어 합성 임베딩을 만든다. λ 파라미터를 동일하게 유지함으로써 파티 간 동기화 비용을 최소화하고, 라벨과 피처 모두에 대한 연속적인 분포를 평탄화한다.

둘째, gradient‑based label unlearning 단계에서는 합성 임베딩을 이용해 활성 파티와 수동 파티 모두에 대해 gradient ascent를 수행한다. 활성 파티는 합성 임베딩과 혼합 라벨(ĥy_u)을 사용해 손실을 최대화함으로써 라벨 정보를 역방향으로 제거하고, 그 그래디언트를 수동 파티에 전달한다. 수동 파티는 전달받은 ∂ℓ/∂ĥH_u_k 를 자신의 파라미터 θ_k에 적용해 로컬 임베딩을 동일 방향으로 이동시킨다. 이 과정은 전체 데이터에 대한 정확한 삭제와 동일한 방향성을 갖는다는 정리(정리 1)를 통해 이론적으로 뒷받침된다.

셋째, remained accuracy recovery 단계에서는 라벨 삭제 후 남은 데이터에 대한 성능 저하를 보완한다. 공개된 보존 라벨 데이터(D_p,r)를 이용해 기존 손실을 최소화하는 gradient descent를 수행함으로써, 활성 파티와 수동 파티 모두를 동시에 미세 조정한다. 이 단계는 삭제 과정에서 발생할 수 있는 과도한 파라미터 이동을 완화하고, 최종 모델이 원래의 작업 정확도를 유지하도록 만든다.

실험에서는 MNIST, CIFAR‑10/100, ModelNet, 뇌종양 MRI, COVID‑19 방사선 이미지, Yahoo Answers 등 7개의 이질적인 데이터셋을 사용했다. 라벨 삭제 효율(정확도 감소율)과 복구 후 정확도(보존 데이터에 대한 성능) 모두 기존 수평 연합 삭제 기법 및 VFL 전용 삭제 기법보다 우수했으며, 특히 40개 이하의 샘플만으로도 전체 라벨 삭제와 복구를 몇 초 내에 완료했다. 계산 복잡도 측면에서도, 합성 임베딩 생성과 gradient ascent가 기존 전체 모델 재학습 대비 O(1) 수준의 시간 복잡도를 보였다.

이 논문은 VFL 환경에서 라벨이 민감 정보일 때, 프라이버시 보장을 전제로 한 효율적인 삭제를 가능하게 하는 중요한 전환점을 제공한다. 특히, 공개 데이터만을 활용한다는 점에서 실제 산업 현장에서 데이터 접근 제한이 심한 상황에도 적용 가능하며, GDPR·CCPA와 같은 규제 준수에도 직접적인 도움을 줄 수 있다. 향후 연구는 다중 라벨 동시 삭제, 비동기식 VFL 구조에 대한 확장, 그리고 보안 강화(예: 차등 프라이버시와 결합) 등을 탐색할 여지를 남긴다.