강화학습 에이전트의 합리성 측정 및 이론

초록

본 논문은 강화학습 에이전트의 행동을 “완전 합리적”이라고 정의하고, 기대 합리성 손실을 기반으로 예상 합리성 위험과 경험적 합리성 위험을 도입한다. 두 위험의 차이를 합리성 위험 격차라 명명하고, 이를 외재적(환경 전이)와 내재적(알고리즘 일반화) 두 요소로 분해한다. 각각은 1‑Wasserstein 거리와 경험적 Rademacher 복잡도로 상한을 구한다. 이론적 결과를 바탕으로 정규화, ℓ₂ 정규화, 가중치 정규화, 도메인 랜덤화가 합리성을 향상시키고, 환경 변이가 합리성을 저해한다는 가설을 제시하고 실험으로 검증한다.

상세 분석

논문은 먼저 “완전 합리적 행동”을 숨겨진 진정한 가치 함수(Q*​)의 최댓값을 선택하는 행동으로 정의한다. 이 정의는 실제 배포 환경에서 Q​가 알려지지 않음에도 불구하고, 이론적 기준점으로 활용한다는 점에서 흥미롭다. 이후 합리성 손실(L) 을 Q​(s, a◦) − Q*​(s, aπ) 로 정의하고, 이를 상태 분포에 대해 기대값을 취한 것이 **예상 합리성 손실(Rₕ(π))**이며, 전체 에피소드에 걸친 합은 **예상 합리성 위험(R(π))**이다. 훈련 단계에서는 동일한 식을 실제 샘플에 평균을 취해 경험적 합리성 위험(ĤR(π)) 로 근사한다.

핵심 이론은 합리성 위험 격차 ΔR = R(π) − ĤR(π) 를 두 부분으로 분해한다.

1. 외재적 합리성 격차는 훈련 환경(p, p₀)과 배포 환경(p†, p†₀) 사이의 전이 커널 및 초기 상태 분포 차이에서 발생한다. 논문은 이를 1‑Wasserstein 거리 W₁(p†, p)와 W₁(p†₀, p₀) 로 상한을 잡으며, Lipschitz 상수 Lₛ(상태→가치)와 Lₚ(전이 커널→상태분포) 및 에피소드 길이 H가 곱해진 형태를 제시한다. 이는 시뮬‑투‑리얼 전이 문제를 정량화하는 새로운 관점을 제공한다.

2. 내재적 합리성 격차는 훈련 데이터의 일반화 오차와 직접 연결된다. 여기서는 가치 함수 클래스 Q_Π의 경험적 Rademacher 복잡도 ˆRₕ(Q_Π)를 사용해 상한을 만든다. 상한식에는 정책-상태 분포 매핑의 Lipschitz 상수 L_Π, 행동 공간 크기 |A|, 에피소드 수 T, 그리고 신뢰 수준 δ가 포함된다. 이 결과는 딥 Q‑네트워크와 같은 함수 근사기의 복잡도가 합리성에 미치는 영향을 이론적으로 정량화한다는 점에서 의미가 크다.

가설 검증 부분에서는 레이어 정규화, ℓ₂ 정규화, 가중치 정규화가 Q_Π의 복잡도를 감소시켜 내재적 격차를 줄이고, 도메인 랜덤화가 전이 커널 차이를 완화해 외재적 격차를 감소시킨다는 실험적 증거를 제시한다. 실험은 Taxi‑v3와 CliffWalking 두 환경에서 DQN을 사용했으며, 정규화와 랜덤화가 각각 기대 합리성 위험을 유의하게 낮추는 것을 확인한다.

강점으로는 (1) 합리성을 정량화하는 새로운 측정 체계, (2) 두 종류의 위험을 명확히 구분하고 각각에 대한 이론적 상한을 제공, (3) 기존 일반화 이론과 연결해 정규화 기법의 효과를 설명한다는 점을 들 수 있다. 다만 몇 가지 제한점도 존재한다. 완전 합리적 행동을 “숨겨진 Q​를 최적화하는 행동”으로 정의하는데, 실제 환경에서 Q​ 자체가 존재하지 않을 수도 있다는 가정이 있다. 또한 1‑Wasserstein 거리와 Lipschitz 상수 추정이 실무에서 어려울 수 있다. 마지막으로 실험이 비교적 단순한 표준 환경에 국한돼 있어, 복잡한 연속 제어나 멀티에이전트 시나리오에 대한 적용 가능성은 추가 검증이 필요하다.