인과 개입 기반 베이지안 적응 제어 규칙

초록

이 논문은 에이전트가 스스로 내는 출력까지 포함한 I/O 스트림을 다룰 때, 전통적인 베이지안 혼합이 실패함을 보이고, 인과 개입 계산을 이용해 최소 KL 원칙에 기반한 새로운 베이지안 제어 규칙을 제시한다.

상세 분석

논문은 적응 행동을 “가능한 세계들의 베이지안 혼합 분포”로 모델링한다. 각 세계는 입력·출력(I/O) 시퀀스에 대한 확률적 규칙을 제공하고, 에이전트는 어느 세계에 놓였는지 모른다. 적응의 질을 평가하기 위해 진짜 세계의 I/O 분포와 에이전트가 기대하는 I/O 분포 사이의 Kullback‑Leibler(KL) 발산을 최소화하는 것이 자연스러운 목표가 된다. 순수 입력 스트림만을 고려하면, 베이지안 혼합이 바로 최적의 사후 예측을 제공하고, KL 최소화와 동등함을 보인다. 그러나 I/O 스트림에서는 출력이 에이전트 자체에 의해 생성되므로, 관측된 출력은 단순히 “관측”이 아니라 “개입”으로 해석돼야 한다. 기존 베이지안 혼합은 이러한 개입을 반영하지 못해, 에이전트가 자신의 행동을 고려하지 않은 잘못된 사후를 계산한다. 이를 해결하기 위해 논문은 Pearl의 인과 개입 연산(do‑연산)을 도입한다. 각 세계의 확률 모델에 대해 출력에 대한 개입을 명시적으로 삽입하고, 그 결과 얻어지는 개입‑조건부 분포를 사용해 사후를 갱신한다. 이렇게 정의된 사후는 실제 에이전트가 취한 행동을 반영하므로, KL 발산을 최소화하는 새로운 베이지안 제어 규칙, 즉 “베이지안 제어 규칙(Bayesian Control Rule, BCR)”을 도출한다. BCR은 사전 혼합 가중치를 유지하면서, 매 단계마다 관측된 입력과 자신이 수행한 개입(출력)에 기반해 가중치를 업데이트한다. 결과적으로 에이전트는 자신의 행동이 환경에 미치는 인과적 영향을 고려한 적응을 수행하게 된다. 이 접근법은 강화학습에서 정책 업데이트를 확률적 베이지안 추정으로 보는 새로운 관점을 제공하며, 최소 KL 원칙에 기반한 적응 제어의 이론적 기반을 확립한다.