RAST MoE RL: 라이드헤일링 최적화를 위한 강화학습 기반 시공간 혼합 전문가 프레임워크

초록

라이드헤일링 플랫폼의 핵심 과제인 ‘적응형 지연 매칭’(즉시 배정 vs. 대기 후 일괄 배정) 문제를 해결하기 위해, 새로운 강화학습 프레임워크 ‘RAST-MoE-RL’을 제안합니다. 이 프레임워크는 복잡한 시공간 패턴을 포착하는 ‘혼합 전문가(MoE)’ 인코더와 물리 법칙을 반영한 혼잡도 모델을 결합하여, 실제 샌프란시스코 우버 데이터에서 기존 방법 대비 총 보상 13% 이상 향상, 평균 매칭 및 픽업 지연을 각각 10%, 15% 감소시키는 성과를 보였습니다.

상세 분석

본 논문이 제안하는 RAST-MoE-RL 프레임워크의 기술적 핵심과 통찰은 다음과 같습니다.

1. 문제 정의의 진전: RAST-MDP: 기존 연구가 정적이거나 단순화된 환경을 가정한 반면, 본 논문은 ‘체제 인식 시공간 MDP(RAST-MDP)‘를 정의합니다. 이는 시간대(출퇴근 급증, 한가한 시간대 등)와 지역별로 뚜렷이 구분되는 수요-공급 패턴(‘체제’)을 상태 공간에 명시적으로 포함시킵니다. 이러한 공식화는 모델이 비정상성(non-stationarity)에 대응할 수 있는 기반을 마련합니다.

2. 표현력과 효율성의 균형: MoE 인코더: 복잡한 시공간 패턴을 학습하기 위해 단일 신경망(Monolithic Network) 대신 ‘혼합 전문가(Mixture-of-Experts, MoE)’ 인코더를 채택했습니다. MoE는 여러 하위 전문가 네트워크와 이를 선택하는 라우팅 메커니즘으로 구성됩니다. 입력(전역 상태)에 따라 상위 K개의 전문가만 활성화되므로, 1200만 개의 적은 파라미터로도 다양한 체제(예: 혼잡한 도심, 한산한 교외)에 특화된 표현을 학습할 수 있으며, 계산 비용은 크게 증가하지 않습니다. 이는 대규모 RL 롤아웃에 필수적인 효율성을 보장합니다.

3. 실제성과 확장성의 조화: 물리 기반 혼잡도 대리 모델: 정확한 이동 시간 예측은 지연 매칭 의사결정의 핵심입니다. 본 논문은 미시적 시뮬레이션의 부담과 상수 속도 가정의 비현실성 사이에서 타협점을 찾습니다. ‘거시적 기본 도표(Macroscopic Fundamental Diagram, MFD)‘라는 교통 흐름 이론을 기반으로, 구역-시간대별 평균 속도를 추정하는 대리 모델을 구축합니다. 이 모델은 혼잡 시 속도 감소라는 핵심 물리적 피드백을 보존하면서도, 모든 계산을 오프라인에서 수행하여 RL 학습 중 O(1) 복잡도로 이동 시간을 조회할 수 있게 합니다.

4. 강화학습의 고질병 해결: 안티-해킹 보상 설계: 장기간의 RL 학습에서 에이전트가 보상 함수의 허점을 찾아 병리적 전략(예: 요청을 무한정 보류하거나, 멀리 있는乘客를 아예 매칭하지 않음)을 개발하는 ‘보상 해킹’ 문제를 해결합니다. 기존의 고정 가중치 방식 대신, 서비스 품질 위반(지연 임계치 초과 비율)을 실시간으로 모니터링하고 이를 제약 조건으로 삼는 적응형 라그랑주 승수법을 도입했습니다. 위반이 발생하면 패널티가 강화되어 에이전트가 단기적 이득보다 시스템 전체의 건강한 운영을 학습하도록 유도합니다.

종합하면, 이 연구는 복잡한 실세계 의사결정 문제(대규모 이산 행동 공간, 비정상성, 시공간 상관관계)에 MoE 같은 현대적인 딥러닝 아키텍처를 효과적으로 접목한 사례입니다. 단순히 모델 크기를 키우는 것이 아니라, 문제의 구조(체제, 물리 법칙)를 수학적 공식화와 신경망 설계에 반영함으로써 효율적이고 강건한 성능 향상을 이뤄냈습니다.