효율적인 커널 서러게이트 모델로 작업 기여도 추정

초록

본 논문은 다중 작업 학습에서 개별 학습 작업이 목표 작업 성능에 미치는 영향을 정량화하는 ‘작업 귀속(task attribution)’ 문제를 다룬다. 기존의 선형 서러게이트 모델이 1차 효과만 포착하는 한계를 극복하기 위해, 저자는 커널 기반 서러게이트 모델(KERNELSM)을 제안하고, 1차 근사와 그래디언트 정보를 활용한 효율적인 학습 절차를 설계한다. 실험 결과, 커널 서러게이트는 LOO(leave‑one‑out) 기준과의 상관관계에서 25% 향상되고, 실제 응용인 데모 선택 및 다목표 강화학습에서 40% 이상의 성능 개선을 보인다.

상세 분석

이 논문은 작업 귀속을 “작업 가중치 벡터 s∈{0,1}^K” 로 정의하고, 해당 가중치에 따라 학습된 모델 f_{cW(s)} 의 테스트 손실 F(s) 를 목표 함수로 삼는다. 기존 방법인 LOO 재학습은 K + 1번의 전체 학습이 필요해 비현실적이며, 영향 함수(influence function)는 Hessian‑vector product를 반복 계산해야 하는 비용적 제약이 있다. 최근 데이터‑모델링 접근법은 F(s)를 직접 근사하는 서러게이트를 학습하지만, 대부분 선형 형태 α + βᵀs 에 머물러 1차 효과만 포착한다.

저자는 먼저 선형 서러게이트와 영향 함수 사이의 관계를 2차 테일러 전개와 델타 방법을 이용해 정량화한다. Proposition 3.1은 선형 회귀 계수 β̂ 가 ∇_s F(s*) (여기서 s*=