벤치프레스: 기업용 텍스트‑투‑SQL 벤치마크를 빠르게 만들기 위한 인간‑인‑루프 주석 시스템

초록

벤치프레스는 기업 데이터베이스의 SQL 로그를 입력으로 받아, 검색‑증강 생성(RAG)과 대형 언어 모델(LLM)을 활용해 여러 자연어 질문 초안을 자동 생성한다. 도메인 전문가가 이 초안을 선택·수정·순위 매김함으로써 주석 작업 시간을 크게 단축하고, 기업 고유의 스키마·용어·프라이버시 요구를 반영한 고품질 텍스트‑투‑SQL 벤치마크를 신속히 구축할 수 있다.

상세 분석

본 논문은 기업 환경에서 텍스트‑투‑SQL 모델을 평가하기 위한 전용 벤치마크 구축의 병목 현상을 정확히 짚어낸다. 기존 Spider·Bird·FIBEN 등 공개 데이터셋은 스키마 복잡성, 도메인 특화 용어, 개인정보 보호 요구 등 기업 고유의 특성을 반영하지 못한다. 저자들은 이러한 격차를 메우기 위해 ‘베이버(Beaver)’라는 사설 벤치마크를 만든 경험을 바탕으로, SQL 로그를 자연어와 매핑하는 작업이 전문가에게 큰 비용 부담임을 강조한다.

벤치프레스는 크게 세 단계로 구성된다. 첫째, One‑Time Setup 단계에서 사용자는 프로젝트를 생성하고, SQL 로그와 스키마 파일을 서버에 업로드한다. 여기서 API 키는 브라우저 로컬에만 저장돼 보안성을 확보한다. 둘째, Retrieval‑Augmented Generation (RAG) 모듈이 전체 로그를 벡터화하고, 입력된 SQL에 가장 유사한 기존 주석을 검색해 프롬프트에 포함한다. 이를 통해 LLM이 도메인‑특화 용어와 스키마 구조를 사전에 파악하도록 유도한다. 셋째, Human‑in‑the‑Loop 단계에서 전문가가 LLM이 생성한 다수의 NL 초안을 검토한다. 선택·순위·수정 기능을 제공해 정확도와 일관성을 유지하면서도 작업량을 크게 감소시킨다.

특히 중첩된 SQL에 대해서는 자동 Decomposition → Recomposition 파이프라인을 적용한다. 복잡한 서브쿼리를 단순 쿼리 집합으로 분해한 뒤 각각에 대해 NL을 생성하고, 최종적으로 인간이 재조합된 설명을 검증한다는 설계는, 기존 시스템이 겪는 ‘구조적 복잡도’ 문제를 효과적으로 완화한다.

실험 결과, 기업 로그(예: MIT 데이터 웨어하우스, Intel 내부 데이터)에서 벤치프레스를 적용했을 때 주석당 평균 소요 시간이 45 % 감소했으며, 인간 검증 후의 정확도는 92 % 수준으로 기존 수작업 대비 15 % 이상 향상되었다. 또한, 생성된 벤치마크를 이용해 여러 최신 LLM(GPT‑4o, Llama‑3.1‑70B‑lt 등)을 평가했을 때, 공개 벤치마크와는 다른 성능 분포가 나타났으며, 이는 기업 고유 워크로드에 맞는 모델 선택·튜닝의 필요성을 재확인시킨다.

프라이버시 측면에서도 벤치프레스는 데이터가 서버에 저장되지만 외부에 노출되지 않으며, 로컬 API 키 관리와 프로젝트 별 접근 제어를 통해 기업 내부 규정을 준수한다. 전체 시스템은 오픈소스로 공개돼, 기업이 자체 인프라에 배포하거나 클라우드 서비스와 연동해 사용할 수 있다.

요약하면, 벤치프레스는 (1) RAG와 LLM을 결합한 자동 초안 생성, (2) 인간 전문가의 선택·수정 인터페이스, (3) 중첩 쿼리 자동 분해·재조합, (4) 보안‑프라이버시 설계라는 네 가지 핵심 요소를 통해 기업용 텍스트‑투‑SQL 벤치마크 구축을 빠르고 정확하게 수행한다. 이는 기업이 자체 데이터에 맞는 모델을 사전 검증하고, 도메인‑특화 파인튜닝 전략을 설계하는 데 필수적인 인프라로 자리매김할 전망이다.