측정오차와 분포변동을 고려한 인과 모방학습

초록

본 논문은 관측된 측정값에 잡음이 섞여 있고 학습과 배포 환경 간에 분포가 변할 때, 기존 행동 복제(BC) 방식이 편향된 정책을 학습하는 문제를 지적한다. 저자들은 인과 그래프를 명시적으로 모델링하고, 프록시 변수 개념을 활용한 새로운 오프라인 모방학습 프레임워크 CausIL을 제안한다. 측정오차와 잠재 상태를 고려한 식별 조건을 제시하고, 이산 및 연속 상태공간에 대한 추정기를 설계한다. 연속 경우에는 RKHS 기반 적대적 학습을 사용한다. PhysioNet 2019 코호트 데이터를 이용한 실험에서 CausIL이 기존 BC 대비 분포변동에 더 강인함을 보였다.

상세 분석

이 논문은 “측정오차 + 분포변동”이라는 두 가지 현실적인 어려움을 동시에 다루는 최초의 모방학습 연구로 평가된다. 기존 BC는 관측된 변수와 행동 사이의 조건부 확률 p(a|o)를 직접 학습하지만, o가 잠재 상태 U에 대한 노이즈가 섞인 프록시 W일 경우, p(a|o)에는 실제 인과 메커니즘을 반영하지 못하는 스퓨리어스 상관관계가 포함된다. 특히 학습 환경과 배포 환경 사이에 W의 분포가 변하면, 이러한 스퓨리어스 상관관계는 정책 성능을 급격히 저하시킨다.

저자들은 인과 그래프( S_t ← U_{t-1} → A_t , U_{t-1} → W_{t-1} 등)를 도입해, 전문가 정책 π_E가 (S_t, U_{t-1})에 조건부로 결정된다는 점을 명시한다. 여기서 핵심은 “U_{t-1}은 관측되지 않지만, W_{t-1}은 U_{t-1}의 프록시”라는 가정이다. 이를 기반으로 proximal causal inference의 아이디어를 차용해, 프록시 변수 W를 이용해 잠재 변수 U를 ‘대체’하는 식별 전략을 설계한다. 구체적으로는 두 단계 식별식: (1) W와 S의 결합분포를 이용해 조건부 기대값 E