저차원 특징 서브스페이스를 활용한 효율적 머신 언러닝 방법 LOFT

초록

본 논문은 사전 학습된 딥러닝 모델에서 특정 데이터(잊혀야 할 데이터)를 제거하면서 나머지 데이터의 성능을 유지하는 머신 언러닝(MU) 문제를, 저차원 특징 서브스페이스에서의 데이터 분리 가능성을 이용해 해결한다. 제안된 LOFT는 프리트레인된 백본에서 한 번만 특징을 추출하고, 두 개의 공분산 행렬(잊혀진 데이터와 남은 데이터)만을 이용해 작은 차원의 투영 행렬을 최적화한다. 이 투영 행렬을 모델에 플러그인 형태로 삽입함으로써, 대규모 원본 데이터를 반복적으로 접근할 필요 없이 빠르고 프라이버시를 보호하는 언러닝을 수행한다. 실험 결과, 기존 근사 MU 방법에 비해 연산량이 크게 감소하고, 언러닝 정확도와 유지 성능 모두 우수함을 보인다.

상세 분석

LOFT의 핵심 아이디어는 “특징 서브스페이스에서의 분리 가능성”이다. 저차원 PCA 기반 서브스페이스를 학습함으로써, 정확한 언러닝(Exact MU) 모델이 잊혀진 데이터와 남은 데이터의 특징을 서로 다른 방향에 집중시키는 현상을 관찰한다. 논문은 이를 정량적으로 뒷받침하기 위해 두 가지 실험을 제시한다. 첫째, 사전 학습 모델(pre‑trained)과 정확히 재학습된 모델(exact) 각각에 대해 특징 공분산 행렬의 고유값 스펙트럼을 분석한다. 사전 학습 모델에서는 잊혀진 데이터와 남은 데이터의 스펙트럼이 유사하지만, 정확히 재학습된 모델에서는 잊혀진 데이터의 고유값이 급격히 감소해 몇몇 주축 방향에만 정보가 집중되는 것을 확인한다. 둘째, PCA 재구성 오류를 계산해 두 서브스페이스에서 각각의 데이터가 얼마나 잘 복원되는지를 비교한다. 재학습된 모델의 남은 데이터는 낮은 차원에서도 낮은 재구성 오류를 보이는 반면, 잊혀진 데이터는 높은 오류를 보여 두 집합이 저차원에서 명확히 구분됨을 증명한다.

이러한 현상을 이론적으로도 뒷받침한다. Lemma 3.1은 정확히 재학습된 모델의 남은 데이터 공분산 행렬을 고유값 순으로 정렬했을 때, 상위 s개의 주성분이 남은 데이터는 거의 완전하게 복원하고, 잊혀진 데이터는 거의 투영되지 않는(ε_fg가 매우 작음) 서브스페이스가 존재함을 보인다. 이는 “특징 서브스페이스에서의 분리 가능성” 가정(H)을 수학적으로 정당화한다.

LOFT는 이러한 가정을 사전 학습 모델에 적용한다. 구체적으로, 두 공분산 행렬 Σ_rm(남은 데이터)와 Σ_fg(잊혀진 데이터)를 구하고, Stiefel manifold 위에서 U∈St(d,s)를 최적화한다. 목표 함수 J는 Σ_rm의 투영 정보는 최대화하고 Σ_fg의 투영 정보는 최소화하도록 설계된다. 최적화는 고전적인 PCA와 동일하게 고유값 분해를 이용해 해를 구할 수 있으며, 실제 구현에서는 두 공분산 행렬의 차이 M=Σ_fg−λ·Σ_rm(λ는 가중치) 의 최소 고유값 방향을 선택한다. 결과적으로 얻은 U는 d×s 차원의 투영 행렬이며, 이는 모델의 마지막 피처 레이어(g) 뒤에 삽입되어 입력 특징을 저차원으로 압축한다.

LOFT의 장점은 세 가지로 요약된다. 첫째, “원-샷 피처 페칭”으로, 원본 데이터셋을 재로드하지 않고 백본에서 한 번만 특징을 추출한다. 이는 데이터 접근 비용과 프라이버시 위험을 크게 낮춘다. 둘째, “플러그인 모듈 구현”으로, 기존 모델 파라미터를 전혀 수정하지 않고 작은 투영 행렬만 추가한다. 따라서 다중 사용자의 언러닝 요청이 동시에 발생해도 각각의 요청마다 새로운 전체 모델을 재학습할 필요가 없으며, 메모리와 저장 공간도 최소화된다. 셋째, 계산 복잡도가 기존 근사 MU 방법에 비해 차수적으로 낮다. 공분산 행렬 계산은 O(d²)이며, 최적화는 고유값 분해 O(d³) 정도의 비용만 필요하고, 이후의 추론 단계는 추가적인 s차원 행렬 곱셈만 수행한다.

실험에서는 ResNet‑50, ViT, BERT 등 다양한 백본과 CIFAR‑10/100, ImageNet‑1k, SST‑2 등 여러 데이터셋을 사용해 평가하였다. 평가 지표는 (1) 언러닝 정확도(잊혀진 데이터에 대한 성능 감소), (2) 유지 성능(남은 데이터에 대한 정확도), (3) 연산 시간 및 메모리 사용량이다. 결과는 LOFT가 기존 근사 MU 방법(예: Fine‑tuning, Gradient Ascent, Parameter Masking 등)보다 언러닝 정확도에서 평균 5~10%p 향상되고, 유지 성능 손실이 1% 이하로 매우 낮으며, 연산 시간은 30%~70% 정도 단축됨을 보여준다. 특히 대규모 모델(BERT‑large)에서는 전체 재학습이 불가능한 상황에서도 LOFT가 2시간 내에 언러닝을 완료한다.

한계점으로는 (i) 저차원 서브스페이스 차원 s를 어떻게 선택하느냐에 따라 성능이 민감하게 변한다는 점, (ii) 공분산 행렬을 계산하기 위해 전체 남은 데이터와 잊혀진 데이터의 특징을 한 번이라도 모두 수집해야 하는 전제 조건이 있다(프라이버시 측면에서 완전한 “데이터 미노출”은 아니다), (iii) 비선형 특징 변환을 고려하지 않으므로 복잡한 데이터 분포에서는 선형 서브스페이스만으로 충분히 구분되지 않을 가능성이 있다. 향후 연구에서는 커널 PCA 혹은 비선형 매니폴드 학습을 결합하거나, 차원 선택을 자동화하는 메타러닝 접근법을 탐색할 여지가 있다.