데이터 제품 자동 생성 평가를 위한 최초 벤치마크 DP‑Bench

초록

DP‑Bench는 데이터 제품(Data Product) 자동 생성 시스템을 평가하기 위한 최초의 공개 벤치마크이다. 기존 ELT‑Bench와 텍스트‑투‑SQL 벤치마크(BIRD)를 연계해 78개의 데이터베이스와 582개의 파생 컬럼, 287개의 원시 컬럼을 포함하는 78개의 데이터 제품과 234개의 비즈니스 요청(DPR)을 구축하였다. 파생 컬럼에 대한 SQL 기반 근거(provenance)를 제공하고, 인간 주석자를 통한 품질 검증 과정을 거쳐 골드 스탠다드 데이터를 만든다. 또한 LLaMA‑3.3‑70B‑Instruct를 활용한 여러 베이스라인을 제시한다.

상세 분석

DP‑Bench는 “데이터 제품 자동 생성”이라는 아직 정의가 명확히 정립되지 않은 과제를 구체적인 태스크로 규정한다. 입력은 (1) 하나 이상의 관계형 데이터베이스 스키마, (2) 선택적으로 비정형 문서이며, 출력은 비즈니스 사용 사례를 설명하는 자연어 요청(DPR)과 그에 대응하는 데이터 제품이다. 데이터 제품은 최소한 테이블 선택과 파생 컬럼 생성, 그리고 파생 컬럼에 대한 SQL 근거(provenance)를 포함한다. 이 정의는 데이터 제품의 핵심 속성인 재사용성, 신뢰성, 가시성을 유지하면서도 평가를 객관적으로 측정할 수 있는 메트릭 설계를 가능하게 한다.

데이터 소스 선택에서 저자들은 BIRD와 ELT‑Bench를 결합한다. BIRD는 95개 DB에 대해 12,751개의 질문‑SQL 쌍을 제공하고, ELT‑Bench는 100개의 ELT 파이프라인과 203개의 데이터 모델을 포함한다. 두 벤치마크 간의 정렬 과정을 통해 78개의 DB가 겹치며, 이들에 대해 634개의 파생 컬럼(69%)과 287개의 비파생 컬럼을 매핑한다. 파생 컬럼에 대한 SQL 근거는 “Generate only SQL to find {COL_DESC} from the following database schema.” 프롬프트를 LLaMA‑3.3‑70B‑Instruct에 전달해 자동 생성하고, 인간 주석자가 오류를 필터링한다. 최종적으로 582개의 파생 컬럼이 유효한 근거를 확보한다.

데이터 제품 생성 단계에서는 ELT‑Bench의 데이터 모델을 BIRD의 테이블에 매핑하고, 파생 컬럼을 적절한 테이블에 재배치한다. 이후 LLM을 이용해 각 데이터 제품에 대해 3개의 요약을 생성하고, 이를 비즈니스 요청(DPR)으로 변환한다. 생성된 234개의 후보 DPR은 2단계 인간 검증 과정을 거쳐 71%는 수정 없이 채택되고, 나머지는 내용 보강을 통해 골드 스탠다드 DPR이 된다. 이 과정은 “질문‑SQL 쌍이 데이터 제품에 포함된 컬럼을 충분히 커버하는가”라는 기준을 중심으로 진행돼, 데이터 제품과 비즈니스 요구 사이의 정합성을 확보한다.

베이스라인으로 제시된 LLM 기반 접근법은 (1) 직접 테이블·컬럼 선택, (2) 파생 컬럼 생성, (3) SQL 근거 자동 생성의 3단계 파이프라인이다. 각 단계에서 LLaMA‑3.3‑70B‑Instruct를 사용했으며, 파생 컬럼의 근거 생성에서 오류율이 비교적 높아 인간 검증이 필수적임을 보여준다. 또한 현재 벤치마크는 테이블·컬럼 수준에 국한돼 대시보드, 보고서 등 고차원 메타데이터는 포함하지 않는다(향후 확장 목표).

핵심 인사이트는 다음과 같다. 첫째, 데이터 제품 자동 생성은 텍스트‑투‑SQL과 ELT 파이프라인 구축 기술을 통합해야 하는 복합 문제이며, 기존 벤치마크를 재활용해 효율적으로 데이터셋을 구축할 수 있다. 둘째, 파생 컬럼에 대한 명시적 근거 제공은 모델의 투명성과 평가 가능성을 크게 향상시킨다. 셋째, 인간 주석자의 역할이 자동화 단계에서 여전히 중요하며, 특히 근거 생성 오류와 비즈니스 요구와의 정합성 검증에 필수적이다. 마지막으로, 현재 DP‑Bench는 78개의 DB와 234개의 DPR이라는 규모이지만, 도메인 다양성(37개 이상)과 질문‑SQL 쌍의 풍부함을 통해 향후 확장 가능성을 충분히 내포한다.