베이즈식 반사와 뉴컴버 패러독스: 인식·결정 체계의 분리

초록

본 논문은 존재론적·인지적 시스템을 ‘인식 시스템(E)’과 ‘결정 시스템(D)’으로 구분하고, 베이즈식 반사(counterfactual) 추론은 오직 인식 시스템이 수행한다는 전제 하에 뉴컴버 패러독스의 새로운 변형을 제시한다. 불완전한 지식 하에서 인식 시스템이 반드시 ‘반사적으로 나쁜’ 결정을 기대하게 되는 상황을 정리하고, 예측자가 플레이어보다 더 많은 데이터를 보유했을 때 1‑Box와 2‑Box 전략의 반사적 최적성이 어떻게 달라지는지를 정량적으로 분석한다.

상세 분석

논문은 먼저 인식 시스템(E)과 결정 시스템(D)을 엄격히 구분한다. E는 베이즈 정리를 통해 모든 관측 데이터와 사전 확률을 이용해 세계에 대한 믿음과 기대값을 계산하고, ‘반사적 선호’를 정의한다(정의 1). D는 E가 제공한 신념을 입력으로 실제 행동을 선택한다. 이 구분은 기존 의사결정 이론이 ‘신념 = 행동’이라고 가정하는 점을 비판한다.

핵심 기술적 결과는 두 가지 정리이다. 정리 1은 ‘불완전 지식(imperfect knowledge)’을 전제로, n개의 가능한 행동 중 하나를 선택해야 하는 상황에서 어떤 엔티티도 반사적 최적화를 보장할 수 없으며, 최소 1 – 1/n 확률로 반사적으로 나쁜 결정을 기대한다는 것을 증명한다. 증명은 예측자 Ω가 E와 동일한 데이터와 사전을 공유하고, Ω가 ‘가장 확률이 낮은 행동에 높은 보상을 할당’하도록 설계함으로써, E가 그 행동을 선택할 확률이 ≤ 1/n이지만 보상은 최대가 되게 만든다. 따라서 E는 높은 확률로 반사적으로 불리한 상황에 놓인다.

정리 2는 뉴컴버 패러독스의 일반화된 형태를 다룬다. 여기서는 Ω가 E보다 더 많은 ‘추가 데이터’를 보유하고 있다고 가정한다. Ω가 베이즈 규칙을 적용해 E의 사후 확률을 계산하고, 그 확률이 충분히 낮아질 경우(즉, Ω가 거의 전지전능에 가까워질 경우) 1‑Box 전략이 반사적으로 최적이 된다. 반대로, Ω의 추가 데이터가 E의 불확실성을 크게 감소시키지 못하면, E는 2‑Box가 반사적으로 더 큰 기대 보상을 제공한다고 판단한다. 이는 Ω에 대한 사전 신뢰와 추가 데이터의 정보량이 결정적인 역할을 함을 보여준다.

또한 논문은 AIXI와 같은 임베디드 에이전트 모델이 정리 1의 가정을 회피하는 이유를 설명한다. AIXI는 환경이 에이전트의 정책에 의존하지 않도록 설계돼 있어, 정책(결정 확률)과 보상이 독립적이다. 그러나 현실 세계의 임베디드 에이전트는 환경이 에이전트의 내부 신념을 관찰하고 보상을 조정할 수 있기 때문에 정리 1이 적용된다.

마지막으로 저자는 인식·결정·데이터 수집·보상·유지보수 등 다중 시스템을 명시적으로 구분함으로써, 인간, 알고리즘, 조직 등 복합적인 의사결정 주체를 설계·분석할 새로운 프레임워크를 제시한다. 이는 자유 의지, 게임 이론, 인공지능 안전성 등 광범위한 분야에 함의를 가진다.