클라우드 데이터웨어하우스를 위한 학습형 쿼리 최적화 프레임워크 LOAM

초록

본 논문은 알리바바 MaxCompute에서 발견된 네 가지 근본적인 문제(C1–C4)를 해결하기 위해, 통계‑무료 플랜 인코딩, 환경 인식 비용 모델, 도메인 적응 기반 사전 일반화, 자동 프로젝트 선택기를 결합한 LOAM 프레임워크를 제안한다. 실험 결과, 프로덕션 워크로드에서 CPU 비용을 최대 30% 절감하며, 전체 프로젝트 중 약 4%가 10% 이상 성능 향상을 기대할 수 있음을 보였다.

상세 분석

LOAM이 제시하는 핵심 설계 원칙은 기존 학습형 쿼리 최적화기가 가정하던 정적 환경·통계 의존성을 완전히 탈피한다는 점에 있다. 첫 번째 원칙인 “환경‑인식 비용 모델링”은 학습 단계에서 각 플랜에 대한 실행 환경(노드 수, 현재 클러스터 부하, 자원 할당 정책 등)을 명시적으로 피처로 포함시켜, 동일 플랜이라도 환경 변화에 따라 비용이 어떻게 변동하는지를 모델이 학습하도록 한다. 이때 온라인 최적화 시점에는 환경 정보가 없으므로, 논문은 최적화 이론을 바탕으로 “대표 평균 환경”을 사용한 비용 추정이 달성 가능한 최상의 상한을 제공한다는 수학적 증명을 제시한다.

두 번째 원칙인 “통계‑무료 플랜 인코딩”은 대규모 멀티테넌트 환경에서 최신 히스토그램이나 NDV와 같은 통계가 존재하지 않을 때를 대비한다. LOAM은 연산자 타입, 조인 키 카디널리티, 필터 조건의 구조적 특성 등을 추출하고, 과거 실행 로그에서 관찰된 플랜‑비용 쌍을 통해 암묵적인 데이터 분포 정보를 역추정한다. 이렇게 하면 통계가 부재하거나 오래된 경우에도 충분히 차별화된 피처를 제공할 수 있다.

세 번째 원칙인 “사전 일반화(Preemptive Generalization)”는 기존 학습형 옵티마이저가 온라인 재학습에 의존하는 문제를 해결한다. MaxCompute는 방대한 히스토리컬 쿼리 저장소를 보유하고 있으므로, LOAM은 오프라인에서 이 데이터를 활용해 대규모 트레이닝을 수행한다. 그러나 트레이닝 플랜과 온라인 후보 플랜 사이에 분포 차이가 클 수 있기 때문에, 도메인 적응 기법(예: 적대적 학습 기반 특징 매핑)을 도입해 두 도메인 간에 불변의 중간 표현을 학습한다. 결과적으로 추가적인 후보 플랜 실행 없이도 높은 일반화 성능을 확보한다.

마지막으로 “자동 프로젝트 선택” 메커니즘은 100,000개가 넘는 독립 프로젝트 중 학습형 옵티마이저 적용이 실질적인 이득을 줄 가능성이 높은 소수만을 선별한다. 초기 규칙 기반 필터링으로 통계가 전혀 없는 프로젝트와 비용 변동이 과도한 프로젝트를 배제하고, 이후 학습된 랭커가 예상 절감율을 예측해 우선순위를 매긴다. 이 두 단계는 운영 비용을 최소화하면서도 ROI를 극대화한다.

실험에서는 MaxCompute 실제 프로덕션 워크로드(수십억 레코드, 복잡한 조인 트리)를 대상으로 LOAM을 적용했으며, 평균 CPU 비용이 30% 감소하고, 비용 변동성(표준편차)도 현저히 낮아졌다. 특히, 프로젝트별 분석 결과 전체의 약 4%가 10% 이상의 절감 효과를 보였으며, 이는 수천 대의 머신에 해당하는 실질적인 자원 절감으로 이어진다. 이러한 결과는 제안된 설계 원칙이 멀티테넌트 클라우드 데이터웨어하우스 전반에 적용 가능함을 시사한다.