다중언어 검색을 위한 저비용 다단계 파이프라인

초록

본 논문은 WSDM Cup 2026 다중언어 검색 과제에 대응하기 위해, 영문 질의에 대해 중국어·페르시아어·러시아어 뉴스 1천만 건을 기계번역된 영문 텍스트로 색인하고, LLM 기반 GRF‑스타일 쿼리 확장 → BM25 후보 생성 → jina‑embeddings‑v4 기반 장문 밀집 순위 → Qwen3‑Reranker‑4B를 이용한 Top‑20 재정렬의 4단계 파이프라인을 제안한다. 제한된 연산 자원 하에서 nDCG@20 0.403, Judged@20 0.95를 달성했으며, 각 단계의 기여도를 정량화한 상세한 Ablation 실험을 제공한다.

상세 분석

이 연구는 다중언어 정보 검색에서 가장 흔히 마주치는 “질의‑문서 언어 불일치” 문제를 기계번역(MT) 기반의 단일 언어 인덱스로 해결한다는 설계 선택을 취한다. 영어 질의를 그대로 사용하면서 번역된 문서 텍스트(˜d)를 색인함으로써 기존의 다국어 임베딩 학습 비용을 회피하고, BM25와 같은 전통적 희소 모델을 그대로 적용할 수 있다. 그러나 MT 품질이 낮은 경우 특히 페르시아어나 러시아어와 같은 언어에서 의미 손실이 발생할 위험이 있다. 이를 보완하기 위해 LLM인 deepseek‑chat을 활용해 GRF(Generalized Pseudo‑Relevance Feedback) 스타일의 쿼리 확장을 수행한다. 여기서 생성된 가짜 뉴스 문서(g(q))에서 상위 30개의 핵심 용어를 추출해 원 질의에 추가함으로써, 희소 검색 단계에서의 초기 재현율을 크게 끌어올린다. 실험 결과, BM25만 사용했을 때 nDCG@20 0.3306이었으나, 확장된 쿼리를 적용하면 0.4020으로 상승한다.

다음 단계인 밀집 순위에서는 jina‑embeddings‑v4(다언어·다모달 통합 임베딩)를 이용해 2,000개의 BM25 후보를 장문(최대 5,120 토큰)으로 임베딩하고, 코사인 유사도로 재정렬한다. 이때 L2 정규화와 차원 축소(truncate_dim=1024)를 적용해 연산 효율성을 확보한다. 밀집 순위만 사용했을 경우 nDCG@20 0.4975를 기록, 희소 검색만 사용할 때보다 약 0.17 포인트 상승한다. 이는 의미적 매칭이 중요한 다중언어 뉴스 도메인에서 장문 임베딩이 초반 정밀도에 크게 기여함을 시사한다.

마지막으로 Top‑20 후보에만 Qwen3‑Reranker‑4B(4 B 파라미터)로 점별(yes/no) 재정렬을 수행한다. 입력을 “질의‑문서‑지시문” 형태로 포맷하고, 마지막 토큰 로짓을 2‑way 소프트맥스해 확률을 산출한다. 재정렬된 상위 20개는 밀집 순위와 별도로 재배치하고, 21‑1,000위는 기존 밀집 순위를 그대로 유지한다. 이 설계는 재정렬 비용을 전체 후보에 비해 50배 이상 절감하면서도 nDCG@20에 0.006~0.008 정도의 추가 향상을 제공한다.

Ablation 표를 통해 확인할 수 있듯이, “BM25 + GRF + jina‑embeddings‑v4 + GRF” 조합이 nDCG@20 0.5158로 최고 성능을 보였지만, R@1000이 약간 감소하는 trade‑off가 존재한다. 즉, 확장된 질의가 특정 엔터티 중심의 후보를 과도하게 끌어올려 다양성을 희생할 수 있다. 전체 파이프라인은 연산량과 메모리 사용을 최소화하도록 설계되었으며, 특히 Top‑k 재정렬을 20으로 제한함으로써 실시간 서비스 적용 가능성을 확보한다.

이 논문의 주요 기여는 (1) 저비용 LLM 기반 쿼리 확장 기법을 희소 검색에 효과적으로 결합, (2) 대규모 장문 밀집 임베딩을 활용한 초기 정밀도 향상, (3) 제한된 재정렬 범위로 비용‑효율성을 극대화한 다단계 구조를 제시한 점이다. 향후 연구에서는 MT 품질 개선, 다중언어 쿼리 자체 재작성, 그리고 재정렬 단계에서 교차‑언어 교감 모델을 도입해 언어 불일치를 근본적으로 해소하는 방향이 기대된다.