UDF 중심 데이터플로우 최적화를 위한 확장 가능한 논리 옵티마이저 SOFA

초록

SOFA는 Map/Reduce 스타일의 사용자 정의 함수(UDF) 특성을 정형화하고, 연산자 계층과 Presto 라는 재작성 템플릿을 활용해 데이터플로우를 자동으로 재배열·합치며, 기존 최적화기보다 최대 6배 빠른 실행 계획을 찾아낸다.

상세 분석

SOFA는 대규모 분석 워크로드에서 UDF가 차지하는 비중이 커짐에 따라, 기존 관계형 중심 옵티마이저가 UDF를 블랙박스로 취급해 최적화 기회를 놓치는 문제를 해결한다. 핵심 아이디어는 UDF의 의미론적 속성을 다섯 가지 기본 속성(예: 읽기·쓰기 집합, 선택성, 커뮤니티티, I/O 비율, 부작용 여부)으로 추상화하고, 이를 계층적 서브섭션 관계에 배치한다. 이렇게 하면 새로운 연산자를 기존 연산자의 서브클래스로 선언하기만 하면 자동으로 동일한 재작성 규칙을 상속받을 수 있어 확장성이 크게 향상된다.

재작성 규칙은 Presto라는 템플릿 집합에 정의된다. Presto는 두 연산자 사이의 관계(예: 교환 가능, 병합 가능, 필터 푸시다운)와 각 연산자의 속성을 매핑해 가능한 변환을 생성한다. 규칙 자체는 매우 적은 수(수십 개)지만, 서브섭션 트리를 통해 파생된 조합이 폭발적으로 많아져 전통적인 규칙 기반 옵티마이저가 탐색하지 못하는 광범위한 플랜 공간을 커버한다.

SOFA는 Stratosphere 시스템 위에 구현된다. 사용자는 Meteor 언어로 논리적 플랜을 기술하고, 컴파일 단계에서 SOPREMO 알제브라로 변환된다. 여기서 SOFA는 Presto에 저장된 메타데이터와 연산자 통계(선택성, 비용 모델)를 활용해 비용 기반 탐색을 수행한다. 탐색은 DAG 형태의 플랜을 대상으로 하며, 연산자 재배열·병합·제거를 반복해 최적 플랜을 도출한다.

실험에서는 정보 추출(IE), 데이터 정제(DC), 머신러닝 파이프라인 등 네 개 이상의 도메인에서 12개의 UDF‑무거운 워크로드를 평가했다. 비교 대상은 기존 Stratosphere 옵티마이저, Hive‑MR 기반 옵티마이저, 그리고 최신 Spark‑SQL 옵티마이저이다. 결과는 SOFA가 평균 2.8배, 최악의 경우 6배까지 실행 시간을 단축했으며, 플랜 수 탐색에서도 경쟁기보다 3배 이상 많은 후보를 검토했다.

한계점으로는 현재 결정적 UDF만을 지원한다는 점과, 속성 추론이 자동화되지 않아 개발자가 최소한의 어노테이션을 제공해야 하는 부담이 있다. 또한 비용 모델이 정적 통계에 의존하므로 데이터 분포가 크게 변할 경우 재최적화가 필요하다. 향후 연구에서는 비결정적 UDF 처리, 동적 비용 모델링, 그리고 머신러닝 기반 속성 추론을 통해 자동화 수준을 높이는 방향을 제시한다.