서론

과학 문서 검색은 기술 지식에 대한 효율적인 접근을 가능하게 함으로써 과학적 진보를 지원하는 기본적인 작업이다. 최근, 사전 훈련된 언어 모델 (PLM) 기반의 리트리버는 사전 훈련과 애노테이션된 쿼리-문서 쌍에 대한 미세 조정을 통해 일반 도메인 검색 작업에서 강력한 성능을 보여주었다. 그러나 이러한 일반 도메인 리트리버를 과학 도메인으로 적응시키는 데 두 가지 주요 도전이 있다. 첫째, 대규모 도메인 특화된 관련성 애노테이션 획득은 매우 비싸며 상당한 전문가 노력을 요구한다. 둘째, 과학 코퍼스는 어휘와 정보 필요성이 일반 도메인 데이터와 크게 다르기 때문에 종종 검색 성능이 저하된다.

대형 언어 모델 (LLM)의 급속한 발전에 따라 최근 연구들은 과학 문서 검색을 개선하기 위한 두 가지 주요 방향을 탐구하고 있다. 첫 번째 접근법은 합성 쿼리 생성이다. LLMs는 “문서와 관련된 다섯 가지 쿼리를 생성하라"라는 지시사항과 함께 각 문서에 대한 훈련 쿼리를 생성하도록 프롬프트를 제공받는다. 이러한 생성된 쿼리는 실제 사용자 쿼리의 대리로 작용한다. 프롬프팅 방법론의 발전, 예를 들어 추가 사례를 포함한 프롬프팅 및 쌍방향 생성은 합성 쿼리의 품질과 다양성을 더욱 개선했다. 이러한 개선된 쿼리를 기반으로 미세 조정된 리트리버는 전문적인 코퍼스에서 더 높은 성능을 달성한다.

두 번째 접근법은 보조 컨텍스트 생성에 초점을 맞추어 쿼리와 문서 간의 어휘 및 의미적 격차를 메우려고 한다. 예를 들어, LLMs는 관련 키워드, 엔티티, 요약 등 추가적인 의미적 큐를 생산하여 원래 쿼리를 확장한다. 가상 문서를 생성하여 쿼리에 대한 의사 응답으로 사용하고 이는 사용자의 정보 필요성을 더 풍부하게 해석하면서 실제 문서의 표현 스타일과 일치시킨다. 이러한 생성된 컨텍스트는 리트리버가 표면 수준의 텍스트 유사성 너머의 관련성을 포착하는 데 도움이 되는 귀중한 신호를 제공한다. 이 접근법의 주목할 만한 장점은 훈련 없음이라는 것이다. 따라서 개별 코퍼스마다 전용 리트리버를 재훈련하는 것이 실천적으로 불가능한 과학 검색에서는 매우 값진 방법이다.

그러나 이러한 두 가지 접근법 모두 학술 개념을 명시적으로 포함하지 않는다는 근본적인 한계를 공유하고 있다. 학술 개념은 과학 텍스트의 핵심 내용을 구성하는 기본 아이디어, 이론 및 방법론을 말한다. 일반적으로 과학 문서는 여러 가지 이러한 개념을 다루며, 기본적인 아이디어, 이론, 방법론과 도메인 특화된 문제를 포함한다. 그러나 기존 LLM 기반 접근법은 이러한 개념 구조를 모델링하지 않는다. 합성 쿼리 생성에서는 LLM이 종종 문서의 개념 중 일부만 집중하여 제한적인 개념 커버리지를 가진 중복되는 쿼리를 생성한다. 마찬가지로, 컨텍스트 확장에서는 직접적인 지침 없이 생성된 컨텍스트는 종종 문서 내 다양한 개념을 반영하지 못하고 좁은 컨텍스트 신호만 제공한다.

이 한계를 극복하기 위해 학술 개념 지수를 도입하여 각 문서에서 논의되는 주요 개념에 대한 구조적인 표현을 제공한다 (그림 1a). 이 지수는 LLMs 및 개념 추출기로 고급 주제, 도메인 특화된 표현 및 관련 용어를 추출하여 구성된다. 이러한 구조적인 조직은 문서의 개념 공간에 대한 원칙적인 시각을 제공한다. 우리는 이 학술 개념 지수를 기반으로 쿼리 생성과 컨텍스트 확장을 개선하려고 한다. 이를 위해, 우리가 제안하는 두 가지 방법은 학술 개념 지수를 활용하는 CCQGen과 CCExpand이다.

첫 번째 방법은 CCQGen로, 이는 합성 쿼리 생성에 학술 개념 지수를 통합하여 생성 과정을 강화한다 (그림 1b). 각 문서마다 지수에서 포착된 핵심 개념 세트를 식별하고 이전에 생성된 쿼리에서 이미 표현된 개념을 모니터링한다. 그런 다음 LLM이 나머지, 미표현된 개념을 대상으로 추가 쿼리를 생성하도록 조건부로 적용한다. 이러한 적응적인 절차는 중복성을 줄이고 더 넓은 개념 커버리지를 장려하여 과학 문서의 다양한 학술적 측면을 잘 반영하는 훈련 쿼리를 제공한다. 개념 인식 및 보완적인 쿼리를 생성함으로써, CCQGen은 전문과학 코퍼스에서 리트리버를 미세 조정하는 효과를 개선시킨다.

/>

두 번째 방법은 CCExpand로, 이는 개념 중점 스니펫을 활용해 컨텍스트 확장을 강화한다 (그림 1c). CCExpand는 개념 지수를 기반으로 콘셉트 인식 쿼리가 생성되는 CCQGen에서 생성된 쿼리를 대상으로 한 세트의 스니펫을 생성한다. 이러한 스니펫은 문서의 개념별 관점을 제공하고 표면 텍스트로부터 포착한 전체 의미적 유사성을 보완한다. 검색 중, 쿼리는 전역적인 문서 표현뿐만 아니라 이들 개념 중심 스니펫에 대해 매칭되므로 추가 모델 훈련 없이 세밀한 개념 신호를 포착할 수 있다. CCExpand는 완전히 훈련이 필요하지 않기 때문에 다양한 과학 코퍼스에 쉽게 배포될 수 있으며 기존 검색 파이프라인을 강화하는 구조적, 개념 중심 확장을 제공한다.

우리의 공헌은 다음과 같이 요약된다:

• 우리는 학술 개념 지수를 도입하여 각 문서에서 추출한 주요 주제와 도메인 특화된 용어에 대한 구조적인 표현을 제공한다. 이 지수는 개념 기반 검색 향상의 기반이 된다.
• 우리는 미표현된 개념에 조건부로 LLMs를 적용하여 다양한 훈련 쿼리를 생성하는 개념 인식 쿼리 생성 방법인 CCQGen을 제안한다.
• 우리는 훈련이 필요하지 않은 개념 중심 컨텍스트 확장 방법인 CCExpand를 제안하며, 이는 세밀한 관련성 매칭을 위한 개념별 문서 스니펫을 생성한다.
• 광범위한 실험을 통해 CCQGen과 CCExpand가 검색 성능을 효과적으로 개선함을 보여주며, 과학 문서 검색에서 학술 개념 지수를 모델링하는 중요성을 입증한다.

관련 연구

PLM 기반 리트리버는 현대적 검색의 표준적인 기반이 되었으며, 많은 연구가 두 가지 주요 방향을 통해 이를 개선하려고 시도해 왔다: 합성 쿼리 생성과 보조 컨텍스트 확장. 이 섹션에서는 PLM 기반 리트리버와 이러한 두 가지 접근법에 대해 검토한다.

PLM 기반의 검색 모델

PLMs의 진전은 검색에서 큰 발전을 이루었다. 최근 연구들은 검색을 위한 사전 훈련, 크로스 엔코더로부터의 디스티ல레이션, 고급 부정 샘플링 방법 등을 소개했다. 과학 도메인에 특화된 사전 훈련 방법에도 점점 더 많은 주목이 집중되고 있다. 학술 코퍼스에서의 사전 훈련뿐만 아니라 과학 논문과 연관된 메타데이터를 활용하는 연구도 진행되고 있으며, 저널 클래스, 인용, 공인용 맥락, 장소, 소속 및 저자를 이용한다. 관련 작업 예측 및 논문 분류와 같은 관련 작업의 다중 태스크 학습을 설계한 연구가 있다. 최근에는 코퍼스 구조 지식 (예: 핵심 주제 및 표현)을 활용하여 학술 개념 매칭을 수행한다.

새로운 코퍼스에서 검색을 수행하려면 일반적으로 PLM 기반의 리트리버는 애노테이션된 쿼리-문서 쌍으로 구성된 훈련 세트를 사용하여 미세 조정된다. 효과적인 미세 조정을 위해 대규모 훈련 데이터가 필요하다. 그러나 과학 문서 검색과 같은 특수 도메인에서는 전문 지식이 필요한 이유로 거대한 인공 애노테이션 데이터셋을 구성하는 것이 어렵다.

합성 쿼리 생성

기존 연구는 일반 도메인에서의 대규모 문서-쿼리 쌍을 사용하여 훈련된 전용 쿼리 생성 모델을 활용했다. 최근에는 이러한 생성 모델을 LLMs로 교체하는 방향으로 변화하고 있다. 최근의 발전은 이러한 쿼리의 품질을 개선하기 위한 프롬프팅 방법론에 초점을 맞추고 있다.

몇 가지 샘플: 여러 관련 쿼리-문서 쌍의 예를 프롬프트에 포함하는 몇 가지 방법이 있다. 프롬프트는 다음과 같은 구성 요소로 이루어져 있다: $`P = \{inst, (d_i, q_i)^k_{i=1}, d_t\}`$, 여기서 $`inst`$는 텍스트 지시사항이며, $`(d_i, q_i)^k_{i=1}`$은 문서와 그에 관련된 쿼리의 $`k`$개의 예를 나타내며, $`d_t`$는 쿼리를 생성하려고 하는 새로운 문서이다. 실제 원하는 출력 사례를 제공함으로써 이 기법은 실제 쿼리와 유사한 분포 (예: 표현 스타일 및 길이)의 쿼리를 효과적으로 생성한다.

라벨 조건화: 관련성 라벨 $`l`$ (예: 관련 및 비관련)을 활용하여 쿼리 생성을 향상시킨다. 프롬프트는 $`P = \{inst, (l_i, d_i, q_i)^k_{i=1}, (l_t, d_t)\}`$, 여기서 $`k`$개의 라벨-문서-쿼리 트리플렛이 예제로 제공된다. $`l_i`$는 문서 $`d_i`$와 연결된 쿼리 $`q_i`$에 대한 관련성 라벨을 나타낸다. 쿼리를 생성하기 위해 프롬프트는 원하는 관련성 라벨 $`l_t`$와 함께 문서 $`d_t`$를 취한다.

쌍방향 생성: 쿼리 품질을 더욱 개선하기 위해 최신 방법론은 관련 및 비관련 쿼리의 쌍방향 생성을 도입한다. LLMs에게 먼저 관련 쿼리를 생성하고 그 다음에는 상대적으로 덜 관련된 쿼리를 생성하도록 지시한다. 프롬프트는 $`P = \{inst, (d_i, q_i, q^-_i)^k_{i=1}, d_t\}`$, 여기서 $`q_i`$와 $`q^-_i`$는 각각 $`d_i`$에 대한 관련 및 비관련 쿼리를 나타낸다. 비관련 쿼리의 생성은 이전에 생성된 관련 쿼리를 조건으로 하여 주제적으로 유사한 대신 완전히 관계없는 쿼리를 생성한다.

이러한 프롬프팅 방법론은 합성 쿼리의 현실감과 다양성을 향상시켰지만, 문서의 학술 개념 커버리지를 명시적으로 보장하지 않는다. 이 한계가 우리의 개념 인식 쿼리 생성 접근법인 CCQGen을 동기부여한다.

보조 컨텍스트 생성

다른 연구는 관련성 매칭을 위해 검색 과정을 풍부하게 하는 추가 컨텍스트를 생성하는 방향으로 진행되었다. 이 접근법의 주목할 만한 장점은 훈련 없음이라는 것이다. 초기 연구에서는 의사 관련 피드백 및 주제 기반 쿼리 향상 등을 탐색했다. 최근에는 LLMs와 같은 생성 모델을 활용하여 더욱 풍부한 컨텍스트 신호를 생성한다.

GAR는 도메인 내 컨텍스트, 즉 답변, 답변 포함 문장 또는 문단 제목과 같이 쿼리를 확장하는 것이다. GRF는 LLMs에게 다양한 의미적 신호 (예: 키워드, 엔티티, 의사 쿼리 및 요약)를 생성하도록 프롬프트하여 이를 집계하고 쿼리 표현을 정교하게 만든다. 이러한 다중 신호 확장은 리트리버가 사용자의 의도의 다양한 의미적 면을 포착할 수 있게 한다.

Query2doc는 쿼리를 조건으로 하는 문서와 유사한 확장을 생성하여 그 의미를 풍부하게 한다. HyDE는 유사한 전략을 채택하며, 쿼리에 조건부로 가상 문서를 생성한다. 이러한 의사 문서는 원래 쿼리에 명시적으로 포함되지 않은 용어와 표현을 도입하면서 과학 문서의 스타일과 유사하다.

이러한 훈련 없음 접근법은 특히 연구 기관들이 자체적인 전문 코퍼스를 유지하는 과학 검색에서 매우 매력적이다. 이러한 환경에서는 개별 코퍼스마다 전용 리트리버를 재훈련하는 것이 비싸고 실용적이지 않기 때문에, 훈련 없음 확장 방법이 특히 값진 것이다.