대규모 언어 모델을 위한 다단계 영향 함수와 EK‑FAC 근사

초록

본 논문은 사전 학습된 대형 언어 모델(LLM)을 미세 조정한 뒤, 그 예측을 사전 학습 데이터에 귀속시키는 다단계 영향 함수(Multi‑Stage Influence Function)를 제안한다. 효율적인 역해시안-벡터 곱(iHVP) 계산을 위해 Eigenvalue‑Corrected Kronecker‑Factored Approximation (EK‑FAC)을 활용하고, 의미 유사도 기반 후보 선택으로 계산량을 크게 줄였다. 실험에서는 EK‑FAC가 기존 방법보다 확장성이 뛰어나며, 제안한 다단계 영향 함수가 사전 학습 데이터와 미세 조정 결과 사이의 기여도를 정확히 추정함을 보였다. dolly‑v2‑3b 모델에 대한 사례 연구를 통해 실제 텍스트 생성 과정에서 어떤 사전 학습 문서가 영향을 미쳤는지 해석 가능함을 시연한다.

상세 분석

이 연구는 두 가지 핵심 문제를 동시에 해결한다. 첫째, 기존 영향 함수는 단일 학습 단계(예: 사전 학습 혹은 미세 조정)만을 고려했으며, 특히 출력 차원이 달라지는 경우(예: 언어 모델의 vocab → 이진 분류)에는 적용이 어려웠다. 논문은 “pre‑train → fine‑tune” 파이프라인을 수학적으로 모델링하고, 미세 조정 단계에서 파라미터가 사전 학습 파라미터와 크게 차이나지 않는다는 가정 하에 두 단계의 손실 함수와 정규화 항을 결합한 새로운 최적화 목표를 도입한다. 이를 통해 사전 학습 손실의 그라디언트를 미세 조정 파라미터 공간에 매핑할 수 있게 된다. 결과적으로 다단계 영향 함수 식 (12)는 두 개의 역해시안‑벡터 곱, 즉 (G_pt+λI)⁻¹∇ℓ_pt와 (G_ft+λI)⁻¹∇m의 내적 형태로 변환된다.

둘째, 대규모 LLM에 대해 역해시안‑벡터 곱을 직접 계산하면 O(p³)·O(Np²)와 같은 비현실적인 복잡도가 발생한다. 이를 해결하기 위해 논문은 EK‑FAC를 적용한다. EK‑FAC는 기존 Kronecker‑Factored Approximation(K‑FAC)의 한계를 보완하는데, 각 블록의 공분산 행렬을 고유값 분해한 뒤 대각선 분산을 보정함으로써 근사 정확도를 크게 향상시킨다. 특히, Transformer의 MLP와 Multi‑Head Attention(MHA) 모듈을 각각 독립적인 블록으로 처리하고, 언어 모델의 임베딩·언베딩 파라미터는 차원 불일치 문제로 제외한다. 이렇게 얻은 G_pt와 G_ft의 근사 행렬은 사전 계산 후 디스크에 저장되며, 추론 시 필요한 후보 샘플에 대해서만 iHVP를 수행한다.

또한, 후보 선택 단계에서 의미 유사도 기반 필터링을 도입해 전체 사전 학습 코퍼스(수십억 토큰) 중 관련성이 높은 수천 개 샘플만을 대상으로 영향 계산을 수행한다. 이는 메모리와 시간 비용을 크게 절감하면서도, 실제 영향도가 높은 샘플을 놓치지 않는다는 실험적 증거를 제공한다.

실험 결과는 세 가지 측면에서 검증된다. (1) EK‑FAC가 LiSSA, Conjugate Gradient 등 기존 iHVP 근사 방법보다 10배 이상 빠르게 수렴하면서도 높은 상관관계를 유지한다. (2) 제안한 다단계 영향 함수가 단일 단계 IF보다 사전 학습 데이터와 미세 조정 결과 사이의 인과 관계를 더 정확히 포착한다. 특히, MLP 파라미터가 전체 영향 추정에 차지하는 비중이 MHA보다 크게 나타나, 대규모 모델에서는 MLP만을 대상으로 근사해도 실용적인 결과를 얻을 수 있음을 시사한다. (3) dolly‑v2‑3b에 대한 사례 연구에서, 모델이 특정 질문에 대해 생성한 답변이 어떤 사전 학습 문서에서 직접 영향을 받았는지를 정량·정성적으로 보여준다. 이는 모델 투명성 및 신뢰성 향상에 직접적인 활용 가능성을 열어준다.

전반적으로 이 논문은 영향 함수 이론을 현대 대형 Transformer에 적용하기 위한 실용적인 프레임워크를 제시하고, EK‑FAC와 의미 기반 후보 선택이라는 두 가지 혁신적인 엔지니어링 기법을 결합함으로써, 수십억 파라미터 규모의 LLM에서도 효율적인 데이터 귀속 분석을 가능하게 만든다.