딥 강화학습으로 조인 순서 최적화: FOOP 프레임워크

초록

본 논문은 전통적인 동적 계획법(DP) 기반 조인 순서 최적화의 한계를 극복하기 위해, 완전 관측 강화학습(Fully Observed Optimizer, FOOP)이라는 일반화된 프레임워크를 제안한다. 다양한 DRL 알고리즘을 플러그인 형태로 적용해 비교한 결과, Proximal Policy Optimization(PPO)이 Q‑learning 기반 방법보다 뛰어난 성능을 보였으며, 앙상블 기법을 결합하면 추가적인 향상이 가능함을 입증한다.

상세 분석

FOOP는 조인 순서 최적화를 마코프 결정 과정(MDP)으로 모델링하고, 모든 관계와 중간 결과를 “관측(state)”으로 취급한다는 점에서 기존 연구와 차별화된다. 기존 시스템(R system, Volcano 등)은 DP와 휴리스틱 규칙을 결합해 탐색 공간을 크게 축소하지만, 이는 최적 해를 놓칠 위험을 내포한다. FOOP는 이러한 탐색 제한을 완화하고, 강화학습 에이전트가 상태‑행동‑보상 루프를 통해 직접 정책을 학습하도록 설계되었다.

구현 측면에서 저자들은 PostgreSQL을 베이스로 하여 플래너와 비용 모델을 분리하고, FOOP를 어플리케이션 레이어에 삽입함으로써 DBMS 독립성을 확보했다. 상태 표현은 각 테이블의 카디널리티, 선택도, 현재까지 선택된 조인 트리 구조 등을 포함하며, 행동은 남은 테이블 중 하나를 선택해 현재 트리에 병합하는 방식이다. 보상은 최종 실행 계획의 비용(예: CPU·I/O 비용)과 실제 실행 시간의 역수로 정의되어, 비용 모델의 오류를 보완한다.

알고리즘 비교에서는 (1) Vanilla Deep Q‑Network(DQN), (2) Double DQN with Prioritized Replay, (3) Proximal Policy Optimization(PPO) 세 가지를 실험하였다. DQN 계열은 값 기반 방법으로, 상태‑행동 가치 함수를 근사하지만, 큰 탐색 공간에서 과대/과소 추정 문제가 발생한다. Double DQN은 과대 추정을 완화하고, Prioritized Replay는 중요한 전이 경험을 우선 학습함으로써 수렴 속도를 높인다. 그러나 실험 결과 PPO가 정책 기반 접근법으로, 샘플 효율성이 뛰어나고 안정적인 정책 업데이트를 제공해 전체 최적화 시간과 최종 비용 모두에서 우수한 성능을 보였다.

또한, 저자들은 여러 DRL 에이전트를 앙상블하여 각 에이전트가 제시한 후보 계획을 메타‑러너가 재평가·선택하도록 함으로써, 개별 모델의 편향을 상쇄하고 전반적인 성능을 향상시켰다. 앙상블은 특히 복잡한 다중 조인·다중 조인 알고리즘 상황에서 효과적이었다.

한계점으로는 학습 데이터의 다양성 부족 시 일반화 문제가 발생할 수 있으며, 실제 운영 환경에서의 온라인 학습 비용이 아직 충분히 검증되지 않았다는 점을 들 수 있다. 또한, 비용 모델 자체를 완전히 대체하지는 못하고, 보상 설계에 따라 성능 변동이 크다는 점도 주목할 필요가 있다.

전반적으로 FOOP는 기존 DP 기반 최적화기의 탐색 비용을 크게 낮추면서, DRL 알고리즘을 손쉽게 교체·비교할 수 있는 모듈형 구조를 제공한다는 점에서 데이터베이스 시스템 연구에 중요한 진전을 제시한다.