오프라인 강화학습을 위한 인과적 정책 학습과 샘플 효율성 보장

초록

본 논문은 숨겨진 교란 변수가 존재하는 오프라인 데이터셋에서 인과적 도구(IV)를 활용해 정책을 학습하는 방법을 제시한다. 조건부 모멘트 제한(CMR) 문제를 이중/디베이즈 머신러닝 기법으로 해결하는 DML‑CMR 알고리즘을 설계하고, 이를 오프라인 밴드잇, 모방학습, 그리고 선형시계열 논리(LTL) 목표 학습에 확장한다. 각 단계에서 수렴 속도와 최적성에 대한 이론적 보장을 제공하며, 실험을 통해 기존 최첨단 방법보다 샘플 효율성이 뛰어남을 입증한다.

상세 분석

이 논문은 세 가지 핵심 연구 과제를 통합적으로 다룬다. 첫 번째는 숨겨진 교란 변수와 인과적 도구가 동시에 존재하는 오프라인 강화학습 문제를 CMR 형태로 정형화한 뒤, Neyman 직교 점수(Neyman orthogonal score)를 기반으로 한 이중 머신러닝(DML) 프레임워크를 적용한다. 저자는 DML‑CMR이라는 새로운 추정기를 제안하고, 교차‑피팅(cross‑fitting) 전략을 통해 편향을 최소화하면서 𝑂(𝑁⁻¹ᐟ²) 수렴률을 달성한다. 또한, 계산 효율성을 위해 선형화된 변형과 식별 조건을 명시하고, 식별 불가능한 경우(ill‑posed)에도 정규화 기법으로 안정성을 확보한다.

두 번째로, 이러한 CMR 추정기를 오프라인 모방학습에 적용한다. MDP에 숨겨진 교란 변수를 도입하고, 전문가 정책의 행동 분포를 인과적으로 복원하기 위해 동일한 직교 점수와 교차‑피팅을 사용한다. 이 과정에서 제시된 이론적 결과는 모방 격차(imitation gap)가 𝑂(𝑁⁻¹ᐟ²) 이하로 수렴함을 보이며, 기존의 행동 클로닝이나 역동적 보상 추정 방법보다 강인성을 갖는다.

세 번째 기여는 고수준 목표를 선형시계열 논리(LTL)로 표현하고, 이를 제한적 결정 자동자(LDBA)와 곱 MDP를 이용해 강화학습 문제로 변환하는 것이다. 저자는 Q‑learning 기반의 LTL 학습 알고리즘을 설계하고, 반사적 상상(counterfactual imagining) 기법을 통해 정책 업데이트 시 숨겨진 교란의 영향을 보정한다. 이 알고리즘은 샘플 복잡도가 기존 방법 대비 로그‑선형 수준으로 감소함을 증명한다.

실험 부분에서는 IV 회귀, 오프라인 밴드잇, 근접 인과 학습(Proximal Causal Learning) 등 다양한 베이스라인과 비교하여 평균 제곱 오차(MSE)와 누적 보상 측면에서 우수한 성능을 보인다. 특히 약한 도구(weak instrument) 상황에서도 트리 기반 추정기와 결합한 변형이 안정적인 결과를 제공한다. 전체적으로 이 논문은 인과 추정과 강화학습을 결합한 새로운 이론·알고리즘 프레임워크를 제시하며, 샘플 효율성과 정책 최적성에 대한 엄격한 보장을 동시에 달성한다는 점에서 학계와 산업 현장 모두에 큰 파급 효과를 기대할 수 있다.