텍스트 임베딩 강화를 위한 배깅 기반 모델 병합

초록

본 논문은 일반 텍스트 임베딩 모델의 다중 과제 학습 방식을 체계적으로 비교하고, 배깅(bootstrapping)과 모델 병합을 결합한 BOOM 기법을 제안한다. 배깅 기반 다수 모델을 샘플링 학습 후 단일 모델로 병합함으로써 OOD 일반화와 증분 학습 효율성을 동시에 향상시킨다. 실험 결과, BOOM은 전체 데이터 배치 셔플링 대비 인‑도메인·아웃‑오브‑도메인 모두에서 성능이 개선되고, 증분 학습 시 훈련 비용을 크게 절감한다.

상세 분석

이 연구는 두 가지 핵심 질문에 답한다. 첫째, 다중 과제 텍스트 임베딩 학습에서 데이터 스케줄링 전략이 성능에 미치는 영향을 어떻게 최적화할 수 있는가? 둘째, 새로운 도메인·데이터가 지속적으로 추가될 때 전체 재학습 없이 효율적으로 모델을 업데이트할 수 있는 방법은 무엇인가?

데이터 스케줄링 측면에서 저자들은 배치‑레벨 셔플링, 데이터‑레벨 순차 학습, 과제‑레벨 순차 학습, 그리고 두 단계 학습(프리트레인→파인튜닝) 네 가지 방식을 실험하였다. 실험 결과, 배치‑레벨 셔플링이 일관적으로 최고 성능을 보였으며, 이는 서로 다른 과제 간의 그래디언트 충돌이 크게 발생하지 않고, 다양한 데이터가 상호 보완적인 특성을 갖기 때문이라고 해석한다. 그러나 배치‑레벨 셔플링은 (1) OOD 일반화가 최적이 아니며, (2) 새로운 데이터가 추가될 때 전체 코퍼스를 다시 학습해야 하는 비효율성을 가진다.

이를 해결하기 위해 제안된 BOOM(Bagging‑based rObust mOdel Merging) 은 전통적인 배깅 아이디어를 텍스트 임베딩에 적용한다. 구체적으로, 전체 학습 데이터를 여러 개의 부트스트랩 샘플(중복 허용)로 나누고, 각 샘플에 대해 동일한 배치‑레벨 셔플링을 수행해 독립적인 임베딩 모델을 학습한다. 이후 MergeKit 라이브러리의 구형 보간(SLERP), 다중 SLERP, Karcher 평균, 그리고 Task Vector 기반 방법(예: Task Arithmetic, TIES) 등을 활용해 다수 모델을 하나의 가중치 집합으로 병합한다.

핵심 기술적 통찰은 다음과 같다.

1. 다중 모델의 다양성 확보: 부트스트랩 샘플링은 데이터 분포의 작은 변동을 반영해 모델 간 차이를 만들며, 이는 앙상블 효과를 제공한다.
2. 단일 모델 압축: 모델 병합 단계에서 구형 보간은 가중치 공간의 기하학적 구조를 보존하면서 평균화한다. 특히 다중 SLERP와 Karcher 평균은 N개 이상의 모델을 순차적 병합 없이 한 번에 통합할 수 있어 효율적이다.
3. 증분 학습 친화성: 새로운 도메인 데이터가 도착하면, 기존 모델을 그대로 유지하고 최신 데이터와 일부 과거 데이터를 샘플링해 ‘업데이트 모델’ 하나만 추가 학습한다. 이후 기존 병합된 모델과 새 모델을 다시 병합하면, 전체 재학습 없이 최신 지식을 흡수한다.

실험에서는 MTEB(Eng, v2)와 같은 대규모 벤치마크뿐 아니라 OOD 세트(RTEB(beta), Code)에서도 BOOM이 배치‑레벨 셔플링 기반 전체 학습 모델을 능가함을 보였다. 특히 데이터 비율을 20%~80%로 조절했을 때, BOOM은 작은 데이터에서도 비교적 높은 성능을 유지해 데이터 효율성이 뛰어나다는 점을 강조한다. 증분 학습 시에는 전체 재학습 대비 40%~60% 정도의 훈련 비용 절감 효과가 관찰되었다.

한계점으로는 (1) 모델 병합 과정에서 가중치 공간의 비선형성으로 인한 미세한 성능 손실 가능성, (2) 부트스트랩 샘플링 비율과 병합 전략 선택이 최적화되지 않으면 기대 이하의 효과를 보일 수 있음, (3) 대규모 LLM 기반 임베딩에 적용할 경우 메모리·연산 요구량이 여전히 높아 실제 서비스 적용에 추가적인 엔지니어링이 필요하다는 점을 들 수 있다.

전반적으로 BOOM은 “더 많은 데이터”가 반드시 더 좋은 일반화를 보장하지 않는 상황에서, 데이터 다양성을 활용한 모델 집합을 효율적으로 하나의 모델로 압축함으로써 OOD 강인성과 증분 학습 효율성을 동시에 달성한 혁신적인 접근이다.