공정성 해독 강화학습 관점

초록

본 연구는 궁극 게임(UG)에 Q‑학습을 적용해 두 역할(제안자·응답자)마다 별도의 Q‑테이블을 부여함으로써, 학습률이 낮고 할인율이 높은 에이전트가 공정한 제안을 선호한다는 것을 보였다. 경험을 충분히 보존하고 미래 보상을 중시할 때 공정 전략(p≈0.5, q≈0.5)이 지배적으로 진화하며, 이는 행동 실험 결과와 일치한다. 두 단계의 진화 과정과 다양한 역할 배정·격자 구조에서도 결과가 견고함을 확인하였다.

상세 분석

이 논문은 전통적인 모방학습(imitative learning) 프레임워크와는 달리, 개별 에이전트가 자신의 행동에 대한 보상을 누적적으로 최적화하는 강화학습(reinforcement learning) 접근을 취한다. 구체적으로, 각 플레이어는 제안자 역할과 응답자 역할을 각각 담당하는 두 개의 Q‑테이블을 유지한다. 상태는 이전 라운드에서 양쪽이 선택한 제안(p)과 수용 기준(q)의 조합 9가지로 정의되며, 행동 집합은 각각 {p_l, p_m, p_h}와 {q_l, q_m, q_h} 로 제한된다. 에이전트는 ε‑탐험 정책에 따라 무작위 행동을 선택하거나 현재 상태에서 Q‑값이 최대인 행동을 선택한다. 업데이트는 베일만 방정식 Q(s,a)←(1−α)Q(s,a)+α