대규모 언어모델 미세조정을 위한 영향 보존 프록시 Iprox

초록

Iprox는 목표 LLM의 그래디언트 기반 영향 정보를 저랭크 압축과 그래디언트·로짓 정렬을 통해 보존하는 두 단계 프레임워크이다. 압축 단계에서는 Influence‑Preserving SVD(IPSVD)로 영향에 중요한 성분을 유지하고, 정렬 단계에서는 저랭크 공간에서 그래디언트를 맞추고 로짓을 앵커링한다. 실험 결과, Qwen3‑4B와 Llama3.2 등 다양한 모델·태스크에서 오프‑더‑쉘프 프록시보다 높은 데이터 선택 성능을 보이며, 3B 모델 대비 50% 이상의 연산 절감 효과를 달성한다.

상세 분석

Iprox는 대규모 언어 모델(Large Language Model, LLM)의 미세조정 단계에서 가장 효과적인 학습 데이터를 선택하기 위해, 기존의 고비용 영향 기반 방법(TracIn, Influence Functions)을 대체할 수 있는 ‘프록시 모델’ 설계에 초점을 맞춘다. 핵심 아이디어는 프록시를 외부에서 임의로 선택하는 것이 아니라, 목표 모델 자체에서 직접 파생시켜 그래디언트와 영향 구조를 그대로 물려받는 것이다. 이를 위해 두 단계가 도입된다.

첫 번째 단계인 Influence‑Preserving SVD(IPSVD)는 전통적인 SVD가 최소 재구성 오차를 최적화하지만, 그래디언트 기반 영향 점수와는 상관관계가 낮다는 점을 지적한다. 논문은 각 레이어의 가중치 행렬 W 에 대해, 해당 레이어의 입력 활성화 h 와 역전파된 그라디언트 δ 의 2차 모멘트 C_h 와 C_δ 를 추정하고, 이들로 가중된 Frobenius 노름을 최소화하는 저랭크 근사 cW 를 찾는다. 수식 (5)에서 보듯, 기대 제곱 효과 E_z