분포적 활성 추론 모델프리 강화학습에 뇌 이론 통합

초록

본 논문은 활성 추론(AIF)의 핵심 원리를 분포적 강화학습 프레임워크에 삽입함으로써, 전이 동역학 모델링 없이도 샘플 효율성을 크게 향상시킬 수 있음을 보인다. 저자는 AIF를 변분 베이지안·인과관계 관점에서 재구성하고, “push‑forward RL”이라는 새로운 이론적 틀을 제시한다. 이를 기반으로 만든 Distributional Active Inference(DAIF) 알고리즘은 기존 분포적 RL에 간단히 정량화 손실을 추가하는 형태이며, 탭ular 및 연속 제어 벤치마크에서 일관된 성능 개선을 기록한다.

상세 분석

논문은 먼저 활성 추론을 변분 베이지안 최적화와 do‑연산을 이용한 인과적 개입으로 재정의한다. 기존 AIF 문헌에서 간과된 점은, 세계 모델에 대한 사전 분포를 행동‑보상 분포 P_R 와 독립적으로 결합함으로써 잠재 변수 (Y,S)와 관측 X 사이의 조건부 의존성을 끊는다는 사실이다. 이 과정에서 ELBO는 네 개의 항으로 분해되며, 마지막 두 항은 기대 보상 log P_R 와 정책 엔트로피 H 로 해석된다. 이렇게 정리된 목표는 “예측 코딩”을 수행하면서도, 모델‑프리 RL이 요구하는 기대 보상 추정과 자연스럽게 연결된다.

다음으로 저자는 “push‑forward RL”이라는 개념을 도입한다. 정책 π 가 생성하는 마코프 경로 측도 P^π_{x₀,a₀} 에 대해, 상태‑행동 함수 f 을 적용한 푸시‑포워드 F#P 는 반환 분포를 직접 정의한다. 이 관점에서 분포적 벨먼 연산자 T^π_P 는 푸시‑포워드된 측도 사이의 p‑와서스테인 거리 \bar W_p 에 대해 γ‑수축성을 갖는다. 따라서 반환 분포의 고정점은 반복적인 벨먼 업데이트로 기하급수적으로 수렴한다는 이론적 보장을 제공한다.

이론적 기반 위에 DAIF 알고리즘을 설계한다. 기존 분포적 RL(예: QR‑DQN, IQN)의 손실에 “정량화 매칭”을 적용하고, 정책 파라미터는 반환 분포의 양자화된 평균에 대해 최대화한다. 구현상에서는 상태‑행동 쌍을 amortized latent 분포 q_θ(y,s|x) 로 인코딩하고, 이 분포를 이용해 보상 log P_R 와 엔트로피 항을 샘플링한다. 결과적으로 모델‑프리 방식이면서도 AIF가 제공하는 “예측‑코딩” 효과를 유지한다.

실험에서는 10개의 탭ular MDP와 7개의 MuJoCo 연속 제어 환경을 대상으로 DAIF와 기존 분포적 RL을 비교한다. 대부분의 환경에서 평균 에피소드 보상이 5 ~ 20 % 상승했으며, 특히 샘플 제한이 심한 초기 학습 단계에서 큰 이득을 보였다. 이는 AIF가 제한된 연산·데이터 조건에서 효율적인 상태 추상화를 수행한다는 가설을 뒷받침한다. 또한, 알고리즘 복잡도는 기존 방법과 거의 동일해 실용적 적용 가능성을 강조한다.

전체적으로 논문은 (1) AIF를 변분·인과관계 수식으로 명확히 정리, (2) 반환 분포를 마코프 측도의 푸시‑포워드로 해석하는 새로운 이론적 프레임워크, (3) 이를 기반으로 한 간단하면서도 효과적인 DAIF 알고리즘을 제시한다. 이 세 축은 강화학습에서 모델‑프리 접근법과 뇌 과학적 원리의 통합을 위한 중요한 발판이 된다.