능동적 인과 실험가 선호 최적화 기반 개입 전략 학습

초록

본 논문은 인과 관계를 밝히기 위한 실험 설계를 순차적 정책으로 학습한다. 절대적인 정보 이득이 감소하는 비정상적 보상 환경에서, 후보 개입 간의 상대적 선호만을 이용해 정책을 업데이트하는 Direct Preference Optimization(DPO)을 적용한다. synthetic, 물리 시뮬레이션, 경제 데이터 등에서 기존 무작위·그리디·PPO 기반 방법보다 70% 이상 효율을 높였으며, 특히 collider 구조에 대해 부모 변수에 집중하는 이론적으로 최적인 전략을 자동으로 발견한다.

상세 분석

ACE(Active Causal Experimentalist)는 인과 메커니즘 추정을 위한 순차적 실험 설계 문제를 강화학습 프레임워크로 재구성한다. 전통적인 가치 기반 RL은 실험을 진행할수록 절대 보상(정보 이득)이 급격히 감소해 학습이 불안정해지는 반면, ACE는 “상대적 선호”에 초점을 맞춘다. 구체적으로, 매 단계에서 K개의 후보 개입(do(V_i=ν))을 생성하고, 복제 학습자(cloned learner)에 시뮬레이션해 예상 손실 감소(ΔL)를 측정한다. 가장 큰 ΔL와 가장 작은 ΔL를 비교해 선호 쌍(preferred vs. non‑preferred)을 만든 뒤, DPO 손실 L_DPO=−E