호기심이 지식이다: 자기 일관 학습과 무후회 최적화를 위한 활성 추론

초록

본 논문은 기대 자유 에너지(EFE)를 최소화하는 활성 추론(AIF) 에이전트가 “충분한 호기심”이라는 단일 조건만으로 베이지안 사후 일관성 및 누적 후회가 유한한 무후회 최적화를 동시에 달성한다는 이론적 보장을 제시한다. 호기심 계수 β의 하한을 구하고, 이를 통해 학습 속도와 최적화 regret 사이의 트레이드오프를 정량화한다. 또한 실험을 통해 설계 지침을 검증한다.

상세 분석

본 연구는 활성 추론(AIF)이 탐색‑활용 트레이드오프를 하나의 목적함수인 기대 자유 에너지(EFE)로 통합한다는 점에 착안한다. EFE는 정보 이득(에피스테믹 가치)과 기대 손실(프래그마틱 가치)의 선형 결합 형태이며, 이때 곱해지는 호기심 계수 βt가 두 가치의 상대적 중요도를 조절한다. 논문은 βt가 충분히 크면 에피스테믹 항이 프래그마틱 항에 압도되어 에이전트가 지속적으로 정보가 풍부한 행동을 선택한다는 가정을 세운다. 이 가정 하에 두 가지 핵심 정리를 증명한다. 첫째, 정리 5.1은 사전 엔트로피가 유한하고, 관측 모델이 파라미터 s*를 구별 가능하며, βt ≥ minx E