TRAK 데이터 귀속의 영향 왜곡과 순위 보존 이론

초록

본 논문은 TRAK 알고리즘이 모델 파라미터를 커널 근사와 ALO(Approximate Leave‑One‑Out) 기법으로 대체하면서 발생하는 근사 오차를 정량적으로 분석한다. 선형화와 랜덤 프로젝션 단계에서 큰 절대 오차가 발생할 수 있지만, 실제 영향값의 크기 차이가 충분히 클 경우 순위는 거의 보존된다는 긍정적 결과를 제시한다.

상세 분석

TRAK은 세 가지 근사 단계(선형화, 랜덤 프로젝션, ALO)를 통해 기존 영향 함수(influence function)의 계산 비용을 크게 낮춘다. 논문은 각각의 단계가 원래 영향값 (I_{\text{true}}(z_i,z_{\text{new}})) 에 미치는 오류를 고차원 확률 이론과 행렬 분석을 이용해 정밀히 추정한다.

1. 선형화 단계: 원래 비선형 모델 (f(x;\beta)) 를 현재 최적 파라미터 (\hat\beta) 주변의 1차 테일러 전개로 대체한다. 이때 발생하는 절대 오차는 (O(|\beta^\ast|^2 n^{-1})) 정도이며, 특히 파라미터 차원 (d) 가 매우 클 경우 오차가 누적될 위험이 있다. 저자는 선형화 오차가 큰 경우에도 영향값 자체가 (O(|\beta^\ast|^2 n^{-1})) 크기로 유지된다는 정리를 제시한다.
2. 랜덤 프로젝션 단계: 고차원 기울기 (g_i=\nabla f(x_i,\hat\beta)) 를 차원 (k\ll p) 인 랜덤 매트릭스 (S) 를 통해 압축한다. 마샬링 정리를 이용해 내적 보존 정도를 분석했으며, 프로젝션 차원 (k) 가 파라미터 수 (d) 에 비해 너무 작으면 (|I_{\text{TRAK}}-I_{\text{Linear}}|) 가 (O(|\beta^\ast|^2 \sqrt{d/k})) 정도로 급증한다. 따라서 실무에서는 (k) 를 충분히 크게 잡아야 한다는 실용적 가이드라인을 제공한다.
3. ALO 단계: Leave‑One‑Out 위험을 근사하는 ALO 식은 기존 연구에서 이미 오차가 (O(n^{-1})) 정도임이 알려져 있다. 논문은 이를 TRAK에 적용했을 때 전체 오류에 미치는 영향이 선형화·프로젝션 단계에 비해 무시할 만큼 작다는 것을 증명한다.
   핵심적인 순위 보존 결과는 두 가지 가정에 기반한다. 첫째, 영향값의 절대 크기가 (\Theta(|\beta^\ast|^2 n^{-1})) 인 “강한 영향” 데이터와 (o(|\beta^\ast| n^{-\epsilon})) 인 “약한 영향” 데이터 사이에 다항식 정도의 격차가 존재한다는 점이다. 둘째, TRAK의 근사값은 이러한 격차보다 작은 상대 오차만을 갖기 때문에, 상위 (m) 개의 가장 영향력 있는 샘플을 식별하는 데는 충분히 정확하다. 실험 결과는 이론적 예측을 뒷받침하며, 특히 대규모 신경망과 이미지/텍스트 데이터셋에서 순위 일치율이 90 % 이상임을 보여준다.
   결론적으로, TRAK은 절대적인 영향값 추정에서는 제한적일 수 있으나, 실무에서 가장 중요한 “가장 영향력 있는 데이터 포인트 찾기”라는 목표에 대해서는 강력한 이론적·실험적 근거를 제공한다.