헤시안 프리 인플루언스 함수 재검토와 확장

초록

본 논문은 딥러닝 모델에 적용 가능한 인플루언스 함수의 헤시안‑프리 근사인 TracIn(Inner Product, IP)을 재조명하고, 그 이론적 근거를 제시한다. 또한 공정성·견고성 평가에 확장하고, 드롭아웃 기반 앙상블(IP Ensemble)으로 성능을 강화한다. 합성 데이터와 라벨 노이즈 탐지, LLM 파인튜닝 샘플 선택, 적대적 공격 방어 등 다양한 실험을 통해 제안 방법의 효율성과 실용성을 검증한다.

상세 분석

인플루언스 함수는 샘플이 모델의 검증 손실에 미치는 영향을 1차 테일러 전개를 통해 추정한다. 전통적 접근은 Hessian 역행렬 (H^{-1}) 와 샘플 그래디언트의 내적을 사용하지만, 비볼록 손실과 수백만 차원의 파라미터 때문에 (H^{-1})를 정확히 계산하기 어렵고 경우에 따라 존재하지 않는다. 기존 연구들은 LiSSA, Kronecker‑Factored Approximation, Arnoldi 등 복잡한 행렬 분해 기법으로 근사했지만, 연산 비용이 크게 늘어나 실용성이 떨어진다.

TracIn(또는 본 논문의 IP)은 이러한 난관을 회피하기 위해 (H^{-1})를 단순히 항등행렬로 대체한다. 즉, 검증 집합 전체 그래디언트와 개별 학습 샘플 그래디언트의 내적만을 사용한다. 이 근사는 두 가지 관점에서 정당화된다. 첫째, 비볼록 딥 네트워크에서 Hessian는 대체로 큰 값, 작은 값, 그리고 음수까지 혼재하는 ill‑conditioned 행렬이며, 강한 정규화((\lambda) 증가) 하에서는 ( (H+\lambda I)^{-1}) 가 항등행렬에 수렴한다. 따라서 실제로는 “Hessian‑free” 신호가 충분히 안정적인 방향을 제공한다. 둘째, 그래디언트 정렬(gradient alignment)은 검증 손실을 감소시키는 방향과 얼마나 일치하는지를 직접 측정하므로, 샘플이 긍정적(기여)인지 부정적(해로운)인지를 판별하는 데 핵심적인 정보를 제공한다.

이러한 단순화에도 불구하고 IP는 여러 실험에서 복잡한 Hessian‑based 방법과 동등하거나 더 나은 성능을 보인다. 특히, 모델이 충분히 학습된 후 검증 그래디언트가 안정적인 신호를 제공할 때, IP는 샘플 영향의 부호와 상대적 크기를 정확히 포착한다. 반면, 초기 학습 단계나 과소‑학습된 모델에서는 그래디언트가 노이즈에 민감해 IP가 오히려 잘못된 순위를 매길 수 있다.

논문은 IP를 공정성(fairness)과 견고성(robustness) 평가로 확장한다. 공정성 측면에서는 민감 속성 (g) 에 대한 Demographic Parity 차이를 손실 함수로 정의하고, 그 손실에 대한 파라미터 그래디언트와 학습 샘플 그래디언트의 내적을 계산한다. 견고성 측면에서는 검증 집합에 화이트‑박스 적대적 변형을 적용한 후, 변형된 검증 손실 그래디언트와 학습 샘플 그래디언트를 내적한다.

마지막으로, IP는 모델 파라미터가 고정된 상태에서 다양한 “다양한 모델”을 빠르게 생성할 수 있는 드롭아웃 기반 앙상블(IP Ensemble)을 제안한다. 여러 드롭아웃 마스크를 적용해 얻은 서브모델들의 그래디언트를 각각 계산하고, 그 내적 점수를 평균하거나 가중합하면 단일 모델보다 더 안정적이고 일반화된 영향 점수를 얻는다. 이는 Hessian‑inverse를 매번 계산할 필요가 없으면서도 모델 다양성을 활용하는 효율적인 방법이다.

전체적으로 본 연구는 복잡한 수학적 근사보다 단순한 그래디언트 정렬이 실제 데이터 중심 작업에서 충분히 강력함을 입증하고, 이를 공정성·견고성 등 새로운 도메인에 확장하며, 앙상블을 통해 신뢰성을 높이는 실용적인 프레임워크를 제공한다.