데이터 흐름 최적화의 블랙박스 해제

초록

본 논문은 사용자 정의 함수( UDF )로 구현된 블랙박스 연산자를 포함하는 빅데이터 데이터 흐름에서, 연산자 의미를 완전히 알지 못하더라도 몇 가지 핵심 속성만으로 연산자 재배열 규칙을 도출할 수 있음을 보인다. 정적 코드 분석을 통해 이러한 속성을 자동 추정하고, 이를 기반으로 선택, 조인, 집계 연산의 재배열을 수행하는 최적화 엔진을 구현하였다. 실험 결과, 전통적인 관계형 DBMS 수준의 리라이트를 달성함과 동시에 비관계형 흐름에서도 연산자 순서를 최적화한다는 점에서 차별성을 가진다.

상세 요약

이 연구는 빅데이터 플랫폼에서 흔히 사용되는 데이터 흐름 모델을 대상으로, 연산자 내부 로직이 블랙박스인 상황에서도 의미론적 최적화를 가능하게 하는 새로운 패러다임을 제시한다. 기존 최적화 기법은 연산자의 대수적 특성(예: 교환법칙, 결합법칙 등)을 전제로 하지만, 실제 현장에서는 사용자 정의 함수(UDF) 형태로 구현된 커스텀 연산자가 다수 존재한다. 이러한 연산자는 소스 코드가 제공되더라도 그 의미를 완전히 파악하기 어려워 전통적인 규칙 기반 옵티마이저가 적용되지 않는다. 논문은 이 문제를 ‘핵심 속성(property)’이라는 개념으로 해결한다. 구체적으로 연산자는 ① 필터링(선택) 효과, ② 데이터 스키마 변형 여부, ③ 레코드 집합 크기 변화(축소/증대) 등 세 가지 속성을 가질 수 있다. 이 속성들은 연산자의 입력·출력 관계만을 관찰하면 정적 분석을 통해 추정 가능하다.

정적 분석 단계에서는 UDF의 바이트코드 혹은 소스 트리를 탐색해, 사용된 컬럼, 조건식, 집계 함수, 그리고 사이드 이펙트(예: 외부 상태 변경)를 식별한다. 이를 바탕으로 ‘선택 가능성(selection‑pushdown)’, ‘조인 교환 가능성(join‑commutativity)’, ‘집계 푸시다운(aggregation‑pushdown)’ 등의 재배열 규칙을 자동 생성한다. 중요한 점은 이 규칙들이 완전한 대수적 증명이 아니라, 속성 기반 근사치라는 점이다. 따라서 최적화 과정에서 발생할 수 있는 의미 변화는 사전에 정의된 안전성 검증 절차를 통해 차단한다.

구현된 옵티마이저는 전통적인 관계형 DBMS가 수행하는 ‘버시 조인 순서 열거(bushy join order enumeration)’와 유사한 탐색을 수행한다. 다만, 연산자 간의 의존성을 속성 매트릭스로 표현해, 기존의 비용 기반 플래너와 동일한 비용 모델을 적용한다. 실험에서는 TPC‑HS와 같은 관계형 워크로드뿐 아니라, 텍스트 마이닝, 그래프 처리와 같은 비관계형 파이프라인에서도 의미 있는 실행 시간 감소를 확인했다. 특히, 집계 푸시다운이 제한적으로 적용될 수 있음에도 불구하고, 전체 파이프라인의 I/O와 네트워크 비용을 평균 20% 이상 절감했다.

이 논문의 핵심 기여는 (1) 블랙박스 연산자에 대한 최소한의 속성 정의, (2) 정적 코드 분석을 통한 속성 자동 추정 방법, (3) 속성 기반 재배열 규칙을 활용한 범용 최적화 엔진 구현이다. 이러한 접근은 기존 시스템이 제공하지 못하던 ‘비관계형 데이터 흐름 최적화’를 가능하게 하며, 향후 데이터 파이프라인 자동 튜닝 및 비용‑효율적인 클라우드 배포에 중요한 토대를 제공한다.