조건 인식 문장 임베딩 CASE로 조건별 의미 유사도 정밀 측정

초록

CASE는 대형 언어 모델(LLM) 인코더와 경량형 지도 학습 투영기를 결합해, 문장을 특정 조건에 맞게 변형한 임베딩을 생성한다. 조건 텍스트를 LLM에 프롬프트하고, 문장이 조건 토큰의 어텐션을 조정하도록 설계한다. 이후 무조건적 조건 임베딩을 빼는 후처리와, 작은 차원(≤512)으로 압축하는 FFN 투영을 통해 C‑STS(Conditional Semantic Textual Similarity) 과제에서 높은 Spearman 상관을 달성한다.

상세 분석

본 논문은 기존 문장 임베딩이 “문맥에 따라 의미가 변한다”는 점을 정량화하기 위해, 조건(condition)이라는 외부 정보를 명시적으로 반영하는 방법을 제시한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째 단계에서는 LLM 기반 인코더에 “Retrieve