생성형 반복 대비 정제로 텍스트 임베딩 혁신

초록

GIRCSE는 LLM의 자동회귀 생성 능력을 활용해 소프트 토큰을 순차적으로 생성하고, 각 단계마다 대비 학습을 적용해 임베딩을 점진적으로 정제한다. 소프트 토큰은 확률 분포 기반으로 연속적으로 미분 가능하게 설계돼, 기존 인코더‑전용 임베딩 방식이 놓치던 잠재 의미를 포착한다. 실험 결과 MTEB와 다양한 지시‑추론 태스크에서 기존 LLM 기반 임베딩을 크게 앞섰으며, 추론 시 토큰 수를 늘릴수록 임베딩 품질이 향상되는 테스트‑시간 스케일링 특성을 보였다.

상세 분석

본 논문은 기존 LLM 기반 임베딩이 “인코더‑전용” 패러다임에 머무르는 한계를 지적하고, 생성 능력을 임베딩 학습에 통합하는 새로운 프레임워크 GIRCSE를 제안한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 모델은 입력 문장에 이어 K개의 소프트 토큰을 자동회귀적으로 생성한다. 여기서 소프트 토큰은 vocab 전체에 대한 확률 분포를 그대로 사용해 가중합 형태로 임베딩 공간에 매핑되며, 이 과정은 미분 가능성을 유지한다. 둘째, 각 생성 단계마다 대비 손실(Lcontrast)을 적용해 단계별 임베딩(z_k)을 정답·오답 쌍과 비교한다. 이렇게 하면 초기 단계에서도 의미 있는 표현을 학습하도록 강제한다. 또한, “Iterative Refinement Regularization”(Lreg)을 도입해 후속 단계가 이전 단계보다 손실이 감소하도록 유도함으로써 토큰이 중복되거나 무의미하게 늘어나는 현상을 방지한다.

이 설계는 몇 가지 중요한 기술적 기여를 포함한다. ① 소프트 토큰 생성은 전통적인 샘플링이 가져오는 비연속성을 피하고, 전체 확률 분포의 풍부한 의미 정보를 보존한다. ② 단계별 대비 학습은 “점진적 정제”라는 개념을 구체화해, 모델이 여러 번의 추론 과정을 통해 의미를 점차 구체화하도록 만든다. ③ 테스트‑시간 스케일링을 자연스럽게 지원한다. 추론 시 K를 늘리면 추가 토큰이 더 많은 정제 기회를 제공해 임베딩 품질이 꾸준히 상승한다는 현상이 관찰되었으며, 이는 기존 고정‑길이 임베딩과 차별화된 장점이다.

실험에서는 Mistral‑7B와 Qwen2.5‑7B를 백본으로 사용하고, LoRA 기반 파인튜닝으로 파라미터 효율성을 확보했다. 0.2M 규모의 대비 학습 데이터(양질의 쿼리‑문서 쌍과 하드 네거티브)를 이용해 520개의 소프트 토큰을 생성하도록 설정했다. 결과는 MTEB 벤치마크에서 상위 56위, 지시‑추론 태스크에서는 상위 23위를 기록했으며, 특히 토큰 수를 늘릴수록 성능이 선형에 가깝게 향상되는 모습을 보였다. 또한, 동일한 백본에 대해 기존 인코더‑전용 모델(E5‑Mistral, BGE‑Enicl 등)과 비교했을 때, GIRCSE는 평균 24%p의 절대 성능 향상을 달성했다.

한계점으로는 (1) 생성 단계가 늘어날수록 연산 비용이 증가한다는 점이며, 논문에서는 KV‑캐싱을 통해 1.0~1.1배 수준으로 비용을 최소화했지만 여전히 실시간 서비스 적용에는 최적화가 필요하다. (2) 소프트 토큰이 실제 인간이 읽을 수 있는 텍스트가 아니므로 디버깅 및 해석이 어려울 수 있다. (3) 현재는 대비 학습에 초점을 맞추었으며, 다른 지도 신호(예: 순위 학습, 클러스터링)와의 결합 가능성은 추후 연구 과제로 남는다.

전반적으로 GIRCSE는 LLM의 생성 능력을 임베딩 학습에 효과적으로 접목시킨 최초의 시도 중 하나이며, “생성‑정제”라는 새로운 패러다임을 제시한다. 향후 더 큰 모델, 다양한 도메인 데이터, 그리고 멀티모달 확장 등에 적용한다면, 텍스트 임베딩의 품질과 활용 범위를 크게 넓힐 수 있을 것으로 기대된다.