대형 언어 모델 시대의 작업 지향 데이터셋 검색 재조명

초록

본 논문은 연구자가 고수준 작업 설명만으로 적합한 데이터셋을 찾기 어려운 문제를 해결하고자, 과학 논문에서 자동으로 작업‑데이터셋 관계를 추출·정제하는 지식 그래프 기반 시스템 KATS와 표준 벤치마크 CS‑TDS를 제안한다. KATS는 오프라인 지식 그래프 구축과 온라인 하이브리드 검색 엔진을 결합해 엔터티 모호성을 해소하고, 벡터 검색과 그래프 기반 순위 결합으로 높은 정확도와 효율성을 달성한다.

상세 분석

KATS의 핵심 설계는 두 단계로 나뉜다. 첫 번째 오프라인 파이프라인은 다중 에이전트 협업 프레임워크를 이용해 과학 논문에서 작업 명세와 데이터셋 언급을 동시에 추출한다. 여기서 작업 엔터티 링크와 데이터셋 엔터티 해상도는 의미 기반 매칭과 사전 정의된 동의어 사전을 결합해 이름·버전·약어 등 다양한 표기 변형을 통합한다. 추출된 트리플은 NoSQL 기반 저장소에 삽입되고, 그래프 구조로 변환돼 동적 업데이트가 가능하도록 설계되었다. 두 번째 온라인 단계는 사용자의 자연어 작업 질의를 LLM으로 전처리해 임베딩 벡터를 생성하고, 이 벡터를 FAISS와 같은 밀집 검색 엔진에 전달한다. 초기 후보 집합이 도출되면, 그래프 기반 순위 모델이 후보와 작업‑데이터셋 관계 그래프를 탐색해 페이지랭크와 관계 강도 점수를 결합한 최종 스코어를 산출한다. 이 하이브리드 접근은 순수 벡터 검색이 놓치기 쉬운 장거리 논리 연결을 보완한다.

벤치마크 CS‑TDS는 두 규모(M과 L)로 구성돼, 각각 628·2101개의 컴퓨터 과학 논문에서 추출한 47·204개의 작업 질의와 1,779·7,525개의 데이터셋 레퍼런스를 포함한다. 질의는 LLM이 생성하고 인간이 검증한 자연어 설명이며, 원본 논문은 검색 코퍼스에서 제외해 모델의 일반화 능력을 평가한다. 정답 라벨링은 원본 데이터셋, 변형·별칭, 기능적으로 동등한 대체 데이터셋을 모두 허용하도록 설계돼, 엔터티 모호성 문제를 현실적으로 반영한다.

실험 결과, KATS는 기존 RAG 기반 시스템(HippoRAG, Raptor 등)과 최신 LLM‑통합 검색 엔진(PNEUMA, LEDD) 대비 MAP@10, NDCG@10에서 1522% 향상을 보였으며, 평균 응답 시간도 0.35초 수준으로 실시간 검색 요구를 충족한다. 특히 엔터티 해상도 모듈을 제외한 경우 성능이 810% 급감하는 점에서, 데이터셋 명칭의 다형성을 효과적으로 처리하는 것이 핵심임을 확인한다.

이 논문은 작업‑데이터셋 매핑의 구조적 결핍을 지식 그래프와 하이브리드 검색으로 메우고, 표준 벤치마크를 제공함으로써 향후 연구가 동일한 평가 기준 아래 비교·발전될 수 있는 토대를 마련한다. 또한, 대규모 LLM과 그래프 기반 추론을 결합한 설계는 다른 도메인(예: 의료, 사회과학)에서도 확장 가능성을 시사한다.