주제 중심 이중 확장으로 검색 성능 극대화

초록

TCDE는 대형 언어 모델을 활용해 질의와 문서를 동시에 주제 중심으로 확장하는 프레임워크이다. 질의는 여러 하위 주제로 분해해 각각에 대한 가짜 문서를 생성하고, 문서는 핵심 주제 문장으로 요약한다. 이렇게 만든 확장 텍스트를 원본과 결합해 색인·검색 단계에 사용함으로써, 기존의 단일 측면 확장 방식에서 발생하던 의미 불일치를 크게 감소시키고, 밀집·희소 검색 모두에서 성능 향상을 달성한다.

상세 분석

TCDE는 기존의 질의 확장(QE)과 문서 확장(DE)이 각각 독립적으로 적용돼 발생하는 “의미 불일치” 문제를 근본적으로 해결하고자 고안된 두 단계 동시 확장 전략이다. 핵심 아이디어는 ‘주제’를 중간 매개체로 삼아 질의와 문서 모두를 동일한 추상 레벨로 변환한다는 점이다.

먼저 질의 측면에서는 LLM에게 입력 질의를 여러 개의 잠재적 하위 주제로 분할하도록 프롬프트한다. 각 하위 주제마다 ‘가짜 문서(pseudo‑document)’를 생성하는데, 이는 해당 주제에 대한 집중된 서술을 포함한다. 이렇게 생성된 N개의 가짜 문서는 원본 질의와 5배 반복된 형태와 함께 concat 연산을 통해 확장 질의 q⁺ 를 만든다. 이 과정은 원본 의도를 보존하면서도 주제별 풍부한 어휘·개념을 추가함으로써 어휘적·의미적 격차를 메운다.

문서 측면에서는 LLM에게 원본 문서에서 N개의 핵심 주제 문장을 추출하도록 지시한다. 여기서는 ‘요약’이라는 형태를 취함으로써 문서 자체의 내용이 왜곡되는 위험을 최소화한다. 추출된 주제 문장들은 원본 문서에 그대로 붙여 d⁺ 를 만든다. 이렇게 하면 문서의 핵심 토픽이 명시적으로 드러나, 확장 질의와의 토픽 일치도가 자연스럽게 상승한다.

TCDE는 두 확장 과정이 대칭을 이루도록 N을 동일하게 설정하고, 이를 통해 ‘주제 중심 정렬(topic‑centric alignment)’을 달성한다. 어휘 수준에서는 확장된 질의와 문서 사이의 키워드 겹침이 증가해 BM25와 같은 희소 모델의 성능이 개선된다. 의미 수준에서는 임베딩 공간에서 양성 쌍(q⁺, d⁺_pos)의 코사인 유사도가 상승하고, 음성 쌍(q⁺, d⁺_neg)의 유사도가 감소함을 수식(5)으로 명시한다.

실험에서는 TREC DL·MS MARCO와 BEIR 벤치마크를 사용해 희소·밀집 두 검색 파이프라인 모두에서 기존 최첨단 QE/DE 방법들을 능가함을 보였다. 특히 SciFact 데이터셋에서 NDCG@10이 2.8 % 상승하는 등, 주제 중심 이중 확장이 실제 도메인 다양성에 강건함을 입증한다.

한편, TCDE는 ‘훈련‑프리’라는 장점을 갖지만, LLM 호출 비용과 프롬프트 설계에 따라 성능 변동이 클 수 있다. 또한 N값 선택이 데이터 특성에 민감하므로 자동 튜닝 메커니즘이 필요하다. 전반적으로 TCDE는 의미 정렬을 명시적으로 설계함으로써 기존 확장 기법의 한계를 뛰어넘는 혁신적 접근이라 평가할 수 있다.