예측력과 복잡성의 균형을 통한 인터랙티브 학습

초록

이 논문은 학습자가 환경에 행동을 취하면서 얻는 피드백을 고려해, 모델과 정책을 동시에 최적화하는 정보이론적 프레임워크를 제시한다. 예측력을 최대화하면서 복잡성을 최소화하는 목적함수를 정의하고, 그 해로서 탐색과 제어가 자연스럽게 균형을 이루는 최적 행동 정책과 모델을 도출한다.

상세 분석

본 연구는 통계역학과 정보이론의 원리를 학습 이론에 적용하되, 기존의 일방향적 예측 모델과는 달리 학습자의 행동이 시스템에 미치는 피드백을 명시적으로 포함한다는 점에서 차별화된다. 핵심은 ‘예측력(Prediction Power)’과 ‘복잡성(Complexity)’ 사이의 트레이드오프를 정량화한 목적함수이다. 여기서 예측력은 관측자가 미래 상태를 얼마나 정확히 예측할 수 있는가를 정보 엔트로피 감소량으로 측정하고, 복잡성은 모델의 상태공간 크기와 정책의 정보량(즉, 행동 분포의 엔트로피)으로 정의한다.

목적함수는
\