추론 모델이 임베딩 품질을 향상시킬까

초록

본 논문은 RLVR(검증 가능한 보상 강화학습)으로 튜닝된 추론 모델을 백본으로 사용했을 때, 동일한 대비 학습 과정을 거친 텍스트 임베딩 모델의 성능이 기본 백본과 차이가 없음을 실증한다. HRSA라는 계층적 유사도 분석 프레임워크를 도입해 표현·기하·기능 수준에서 차이를 해부하고, RLVR이 전역적인 잠재 다양성은 유지하면서 국부 기하만 재구성하고, 대비 학습이 이를 다시 정렬한다는 ‘Manifold Realignment’ 현상을 발견한다.

상세 분석

논문은 먼저 최신 임베딩 모델이 디코더‑전용 LLM을 대비 학습(Contrastive Learning, CL)으로 파인튜닝해 구축된다는 점을 강조한다. 이어 RLVR 기반 추론 모델이 복잡한 문제 해결 능력을 크게 향상시킨다는 최근 연구들을 인용하면서, 이러한 추론 능력이 임베딩 공간에도 긍정적 영향을 미칠 것이라는 가설을 제시한다. 그러나 MTEB(다국어·코드·다양한 태스크)와 BRIGHT 벤치마크에 대해 동일한 CL 레시피로 학습한 모델들을 비교한 결과, RLVR‑튜닝 백본을 사용한 임베딩 모델(M Emb reason)은 기본 백본(M Emb base)과 평균 성능 차이가 0에 가깝고 통계적으로 유의미한 차이가 없음을 확인한다. 이는 “성능 차이 없음”이 단순히 우연이 아니라 구조적 현상임을 보여준다.

이를 설명하기 위해 저자들은 HRSA(Hierarchical Representation Similarity Analysis) 프레임워크를 설계했다. HRSA는 세 단계로 구성된다. ① Representation Level에서는 차원별 상관관계와 Orthogonal Procrustes 분석을 통해 좌표 기반(특징)의 직접적인 일치 여부를 측정한다. RLVR‑백본은 SFT(지도학습) 대비 좌표 기반이 크게 변하지 않으며, 필요시 단순 회전·순열로 거의 일치한다. ② Geometry Level에서는 Linear CKA와 k‑NN Overlap을 이용해 전역·국부 기하 구조를 평가한다. 결과는 RLVR이 전역적인 등거리(isometric) 변형을 유지하면서도 국부적인 이웃 관계를 재배열한다는 것을 보여준다. 즉, 잠재 다양성의 “형태”는 보존되지만 작은 지역적 왜곡이 발생한다. ③ Function Level에서는 Cross‑Model Linear Probes를 통해 동일한 선형 읽기(head) 가 여러 모델에 동일하게 적용되는지를 검증한다. 여기서 RLVR‑백본과 기본 백본 모두 선형 읽기 성능이 거의 동일하게 유지돼, 기능적 차이가 거의 없음을 확인한다.

이러한 계층적 분석을 종합하면, RLVR은 기존 사전학습된 의미 공간을 크게 재구성하지 않고, 그 안에서 정책(추론 경로)만을 최적화한다는 결론에 도달한다. 이후 동일한 CL 과정을 거치면, 좌표 기반의 미세한 드리프트가 다시 정렬(Manifold Realignment)되어 두 모델이 거의 동일한 임베딩을 생성한다. 이는 SFT가 전역적인 구조 재구성을 일으키는 반면, RLVR은 “trajectory optimization”에 머무른다는 기존 연구와 일치한다. 실험적으로도 RLVR‑튜닝이 장기화될 경우 좌표 기반 드리프트가 더 커지지만, CL이 이를 보정한다는 점이 흥미롭다. 최종적으로 논문은 RLVR이 현재 임베딩 품질을 향상시키지는 않지만, 모델의 표현 견고성을 유지하면서 추론 능력을 별도로 강화할 수 있음을 시사한다.