LLM 기반 데이터 시스템을 위한 Stretto 실행 엔진

초록

Stretto는 LLM‑augmented 데이터베이스에서 전역 정밀도·재현율 제약을 만족하면서 실행 비용을 최소화하도록 설계된 새로운 쿼리 최적화 엔진이다. 연속적 완화와 그래디언트 기반 탐색을 이용해 모델 크기·KV‑캐시 압축·임계값·다단계 연산자 캐스케이드를 동시에 선택하고, KV‑캐시를 재활용·압축함으로써 실행 시간을 크게 단축한다. 실험 결과, 기존 시스템 대비 평균 42 % 빠른 속도와 목표 품질 보장을 달성한다.

상세 분석

Stretto는 기존 LLM‑augmented 데이터 시스템이 직면한 두 가지 핵심 한계를 체계적으로 해소한다. 첫 번째는 “전역 품질 보장” 부재이다. Lotus와 같은 선행 연구는 각 연산자를 독립적으로 최적화해 로컬 정확도 한계만 제공했으며, 파이프라인 전체에서 오류가 어떻게 누적되는지를 고려하지 못했다. Stretto는 논리 플랜 전체를 하나의 제약 최적화 문제로 모델링한다. 구체적으로, 전역 정밀도·재현율 제약을 만족하도록 연산자별 오류 예산을 동적으로 할당하고, 비용 함수(주로 실행 시간·자원 사용)를 최소화한다. 이를 위해 연산자 선택(이산 변수)과 임계값·압축 비율(연속 변수)을 모두 포함하는 연속적 완화 공간을 정의하고, 자동 미분 기반 그래디언트 탐색을 수행한다. 이 접근법은 “오류 예산 재분배”를 가능하게 하여, 쉬운 연산자는 낮은 정확도·저비용 설정으로 처리하고, 어려운 연산자는 남은 예산을 활용해 더 큰 모델이나 낮은 압축 비율을 선택하도록 유도한다.

두 번째는 “조밀한 물리적 설계 공간 부재”이다. 기존 시스템은 보통 소형·대형 모델 두 가지 정도만 제공해 비용‑품질 곡선이 매우 거친 형태였다. Stretto는 KV‑cache를 일급 자원으로 끌어들여 물리 연산자 계층을 풍부하게 만든다. 데이터베이스에 저장된 멀티모달 데이터에 대해 사전 단계에서 다양한 모델의 KV‑cache를 생성하고, Expected Attention Press 기반 압축을 적용해 여러 압축 비율(예: 0.5, 0.7, 0.9 등)의 캐시를 미리 준비한다. 실행 시에는 해당 캐시를 재사용함으로써 모델 전방 전달 비용을 크게 절감하고, 압축 비율을 조정해 메모리 사용량·배치 크기를 최적화한다. 결과적으로 동일한 모델 크기라도 압축 정도에 따라 연산 비용이 연속적으로 변하므로, 최적화기가 탐색할 수 있는 “밀집한” 비용‑품질 트레이드오프가 형성된다.

Stretto는 또한 다단계 연산자 캐스케이드를 지원한다. 하나의 논리 연산자는 저비용 연산자 → 중간 비용 연산자 → 고비용 연산자 순으로 구성될 수 있으며, 각 단계는 “확신(accept)”, “거부(reject)”, “불확실(unsure)” 세 가지 결과를 반환한다. ‘불확실’로 판단된 튜플만 다음 단계로 전달되므로, 전체 파이프라인에서 고비용 LLM 호출 횟수를 최소화한다. 이러한 캐스케이드는 기존 Lotus가 제공하던 2단계(소형·대형)보다 훨씬 유연하며, 전역 품질 제약을 만족하면서도 비용을 최적화한다.

실험에서는 SemBench 등 10여 개 데이터셋과 다양한 질의(필터·맵·조인·집계)를 대상으로 Stretto와 Palimpzest, Lotus, Abacus 등을 비교했다. 전역 재현율 0.9·정밀도 0.7 목표 하에서 평균 42 %의 실행 시간 감소를 보였으며, 품질 목표를 초과 달성하거나 동일하게 유지했다. 특히, KV‑cache 압축을 활용한 경우 메모리 사용량이 30 % 이상 감소하고, 배치 크기 확대 덕분에 GPU 활용 효율이 크게 향상되었다.

요약하면, Stretto는 (1) 전역 품질 제약을 명시적으로 모델링한 그래디언트 기반 최적화, (2) KV‑cache 압축을 통한 조밀하고 재사용 가능한 물리 연산자 라인업, (3) 다단계 캐스케이드 설계라는 세 가지 혁신을 결합해 LLM‑augmented 데이터베이스의 실행 효율성을 크게 높인 시스템이다.