시계열 A/B 테스트를 위한 트랜스포머 강화학습 설계

초록

본 논문은 시계열 실험에서 정책을 순차적으로 할당할 때 발생하는 캐리오버와 제한된 실험 기간 문제를 해결한다. 기존 설계가 전체 히스토리를 활용하지 못하면 최적이 될 수 없다는 불가능 정리를 제시하고, 전체 히스토리를 인코딩하는 트랜스포머와 MSE를 직접 최소화하는 강화학습(RL) 에이전트를 결합한 새로운 실험 설계 방법을 제안한다. 합성 데이터, 디스패치 시뮬레이터, 실제 라이드쉐어링 데이터에서 기존 방법을 지속적으로 능가함을 실증한다.

상세 분석

이 논문은 시계열 A/B 테스트라는 특수한 실험 환경을 두 가지 관점에서 비판한다. 첫째, 정책 할당이 초기 행동, 현재 관측치 혹은 제한된 과거에만 의존하면, 시계열 데이터가 내포하는 동적 의존성을 포착하지 못한다는 점이다. 이를 정량화하기 위해 저자들은 “불가능 정리”(Impossibility Theorem)를 증명한다. 이 정리는 이중 강인 추정기(doubly robust estimator)를 사용하더라도, 전체 히스토리를 조건으로 하지 않는 할당 전략은 asymptotically optimal design을 달성할 수 없음을 보여준다. 즉, 히스토리 전체를 활용하지 않으면 평균 처리 효과(ATE)의 평균제곱오차(MSE)를 최소화하는 설계가 불가능하다는 강력한 부정 결과다.

둘째, 기존 연구들은 MSE를 직접 최적화하기 위해 MDP 가정, 선형/단기 의존성 가정 등 강력한 모델 가정을 도입한다. 이러한 가정은 실제 라이드쉐어링·디스패치와 같이 복잡하고 비선형적인 상호작용이 존재하는 시스템에 적용하기 어렵다. 저자들은 이를 극복하기 위해 두 가지 핵심 기술을 결합한다.

1. 트랜스포머 기반 히스토리 인코더

   • 트랜스포머는 셀프 어텐션 메커니즘을 통해 시계열 전체를 가변 길이의 컨텍스트 벡터로 요약한다. 이는 기존의 “현재 관측치만 사용” 혹은 “고정된 윈도우만 사용”하는 방법보다 장기 의존성을 효과적으로 포착한다.
   • 인코더 출력은 시점 t의 상태 S_t 로 정의되며, 이는 이후 강화학습 정책 네트워크의 입력이 된다.

2. 강화학습을 통한 MSE 직접 최소화

   • 저자들은 MSE를 부정 보상(negative reward)으로 정의하고, Double Deep Q‑Network(DDQN) 에이전트를 사용해 정책 π_θ를 학습한다.
   • 이 접근법은 MDP 가정이 필요 없으며, 시뮬레이션을 통해 얻은 실제 MSE 값을 바로 최적화 목표로 사용할 수 있다.
   • 또한, 정책 탐색 과정에서 탐험‑활용 균형을 조절함으로써 작은 처리 효과와 짧은 실험 기간에도 안정적인 설계가 가능하도록 한다.

실험 부분에서는 세 가지 벤치마크를 사용한다. (i) 합성 데이터에서 다양한 캐리오버 길이와 노이즈 수준을 변형해도 제안 방법이 기존의 Neyman 할당, 베이즈 최적 설계, 기존 RL‑based 설계보다 평균 MSE를 10‑30% 정도 낮춘다. (ii) 공개된 디스패치 시뮬레이터에서는 정책 전환 시 발생하는 차량 재배치와 수요‑공급 상호작용을 정확히 모델링해, 정책 선택 정확도가 크게 향상된다. (iii) 실제 라이드쉐어링 데이터(수천 시간, 수백만 라이드)에서는 제안 설계가 기존 방법에 비해 ATE 추정의 신뢰구간을 20% 이상 좁히고, 실험 종료 시점에서도 유의미한 효과를 검출한다.

이 논문의 주요 기여는 다음과 같다.

• 전체 히스토리를 조건으로 하지 않는 설계가 근본적으로 비최적임을 이론적으로 증명한 최초의 작업.
• 트랜스포머와 강화학습을 결합해 복잡한 시계열 의존성을 학습하고, MSE를 직접 최소화함으로써 강력한 모델 가정 없이도 실용적인 설계를 제공.
• 라이드쉐어링이라는 실제 산업 현장에서 실험 설계의 효율성을 입증, 정책 개발 주기의 비용과 시간을 크게 절감할 가능성을 시사.