과거 할인으로 구현하는 장기 공정성 학습: 무한 지평선에서도 가능한 마코프 정책

초록

이 논문은 장기 자원 배분에서 공정성을 유지하려면 과거 효용을 완전히 기억하는 완전 회상 방식이 상태 공간을 무한히 확장시켜 학습이 불가능함을 지적한다. 인간이 과거 사건을 시간에 따라 할인한다는 행동경제학적 통찰을 차용해, 과거 효용에 감쇠 계수 γₚ를 적용한 ‘과거 할인(future‑discounted) 기억’ 방식을 제안한다. γₚ = 0이면 순간 공정성, γₚ = 1이면 완전 회상과 동일하지만, 0 < γₚ < 1이면 상태 공간이 고정되고 마코프성을 유지한다. 이론적 증명과 실험을 통해 할인된 기억이 장기 horizon에서도 효율적으로 공정한 정책을 학습함을 보인다.

상세 분석

본 연구는 동적 다중 에이전트 시스템에서 자원 배분의 공정성을 시간적 관점에서 다루는 문제를 명확히 정의한다. 기존 연구는 크게 두 축으로 나뉜다. 첫 번째는 순간 공정성으로, 현재 단계의 효용만을 고려해 최적화를 수행하지만, 누적 불균형을 무시한다. 두 번째는 완전 회상(Perfect‑Recall) 방식으로, 모든 과거 효용을 누적하거나 평균해 상태에 포함시켜 마코프성을 강제한다. 그러나 완전 회상은 시간 t 가 증가함에 따라 상태 차원도 선형적으로 증가해, 마코프 결정 과정(MDP)의 핵심 가정인 유한 상태 공간을 위배한다. 이는 특히 강화학습(RL)에서 가치 함수와 정책 업데이트가 수렴하지 못하게 만든다.

논문은 행동경제학·도덕심리학 연구에서 인간이 과거 사건을 시간에 따라 지수적으로 할인한다는 사실을 차용한다. 이를 바탕으로 ‘과거 할인(past‑discounted) 기억’이라는 새로운 메커니즘을 도입한다. 구체적으로, 각 에이전트 i 에 대한 누적 효용 Zₜᵢ 를 다음과 같이 재귀적으로 정의한다:

• 가산형( additive ): Zₜᵢ = γₚ · Zₜ₋₁ᵢ + uᵢ(Aₜ)
• 평균형( averaged ): Zₜᵢ = (γₚ · Zₜ₋₁ᵢ · dₜ₋₁ + uᵢ(Aₜ)) / (γₚ · dₜ₋₁ + 1)

여기서 γₚ∈