모델 가중치 모방으로 데이터 효율을 높이는 Mimic Score와 Grad‑Mimic

초록

Mimic Score는 사전 학습된 레퍼런스 모델의 가중치와 현재 모델의 그래디언트를 비교해 샘플의 학습 가치를 정량화한다. 이를 기반으로 온라인에서 샘플을 재가중하고, 학습 종료 후 점수를 집계해 고품질 데이터 필터를 만든다. 실험 결과, 라벨 노이즈 탐지, 데이터 효율성 향상, 대규모 CLIP 학습 단계 감소 등에서 기존 방법보다 우수함을 보였다.

상세 분석

본 논문은 데이터 선택 문제를 “가중치 공간 기하학”이라는 새로운 관점에서 접근한다. 레퍼런스 모델 θ_ref 가 현재 모델 θ_t 보다 손실이 낮다고 가정하고, 두 가중치 사이의 차이 v_t = θ_ref − θ_t 를 목표 방향으로 설정한다. 각 샘플 s_i 에 대해 손실에 대한 부정적 그래디언트 −g_i,t 와 v_t 의 내적을 정규화한 값 m_i,t = ⟨−g_i,t, v_t⟩/‖v_t‖를 Mimic Score로 정의한다. 이 점수는 “샘플이 현재 모델을 레퍼런스 모델 쪽으로 얼마나 끌어당기는가”를 측정한다는 직관적 의미를 갖는다.

온라인 단계에서는 배치 내 모든 샘플의 Mimic Score를 소프트맥스(온도 τ)로 정규화해 가중치 m_i,t 을 얻고, 기존 SGD 업데이트 θ_{t+1}=θ_t−η·(1/b)∑g_i,t 를 θ_{t+1}=θ_t−η·∑m_i,t·g_i,t 로 변형한다. 온도 τ 가 낮을수록 높은 점수 샘플에 집중하고, 높은 τ 는 기존 SGD와 유사하게 동작한다. 이 방식은 샘플별 기여도를 직접 반영하므로, 노이즈가 많은 배치에서도 유용한 신호를 강조한다.

오프라인 단계에서는 학습 전 과정에서 기록된 Mimic Score를 누적·집계한다. 저자들은 점수를 이진화(임계값, 1‑D 클러스터링, Top‑k)하고, 각 스텝의 이진 결정들을 약한 지도 학습(예: Snorkel)으로 합쳐 최종 필터를 만든다. 이렇게 하면 단일 스텝의 잡음에 강인한, 데이터 전체에 대한 신뢰도 높은 품질 추정이 가능하다.

실험에서는 (1) 라벨 노이즈가 주입된 6개 이미지 데이터셋에서 Mimic Score가 노이즈 샘플을 정확히 식별하고, 전체 데이터 품질과 0.903의 피어슨 상관을 보였으며, (2) 온라인 재가중을 적용한 모델이 동일 데이터 양 대비 2‑3배 빠르게 수렴하고 정확도가 향상되었다. 대규모 웹 크롤링 데이터(10M~100M 샘플)에서는 사전 학습된 CLIP 가중치를 레퍼런스로 사용해 학습 단계 수를 20.7% 절감했으며, 최종 필터링으로 기존 필터와 결합해 4.7M 샘플을 줄여도 성능이 유지되었다. 계산 비용 측면에서 Mimic Score는 단순 내적 연산만 필요하므로, 영향 함수 기반 방법에 비해 GPU 메모리와 실행 시간이 크게 감소한다.

한계점으로는 레퍼런스 모델의 품질에 크게 의존한다는 점이다. 레퍼런스가 편향된 경우 그 편향이 그대로 점수에 반영될 위험이 있다. 또한 v_t 를 전체 가중치가 아닌 특정 레이어(예: 마지막 선형 층)로 제한하면 계산 효율은 높아지지만, 정보 손실이 발생할 수 있다. 온도 τ 와 임계값 선택도 데이터셋마다 민감하게 조정해야 하는 하이퍼파라미터이다. 향후 연구에서는 다중 레퍼런스 앙상블, 동적 τ 조정, 그리고 텍스트·오디오 등 멀티모달 데이터에 대한 확장 가능성을 탐색할 여지가 있다.