최적 무편향 가치 추정기와 LSTD TD MC와의 관계

초록

본 논문은 마르코프 보상 과정(MRP)에서 최적 무편향 가치 추정기(MVU)를 정의하고, 이를 기존의 TD, MC, LSTD와 비교한다. MVU는 모든 가능한 관측 정보에 대한 최소 평균 제곱 위험을 달성하는 추정기로, 비순환 MRP에서는 LSTD와 동일하지만 순환 MRP에서는 LSTD가 편향될 수 있음을 보인다. 또한, MC는 할인되지 않은 경우 MVU와 동등하고, TD는 비순환 MRP에서 거의 무편향이며 순환 MRP에서는 편향이 발생한다는 점을 정리한다. 위험 순위에 대한 일반적인 전제는 존재하지 않으며, 논문은 이를 입증하는 반례와 실험 결과를 제시한다.

상세 분석

이 연구는 가치 함수 추정 문제를 통계적 관점에서 재정의한다. 먼저, MRP의 각 상태마다 정의되는 기대값 연산이 서로 다른 확률 측도에 기반한다는 점을 강조한다. 이러한 측도 차이는 벨먼 방정식이 전역적으로 연결되면서, 하나의 추정기가 모든 상태에 대해 동시에 무편향이 되기 어렵게 만든다. 저자는 이 점을 정량화하기 위해 “최적 무편향 추정기”(MVU)를 도입한다. MVU는 모든 가능한 샘플 경로에 대해 최소 평균 제곱 위험(MSE)을 달성하는 추정기로, 베이즈 관점에서 사전이 균등하고 관측이 완전할 때의 최적선형 추정기와 동등하다.

논문은 MVU와 기존 알고리즘의 관계를 세 가지 경우로 나눈다. 첫째, 비순환(acyclic) MRP에서는 상태 전이 그래프가 DAG 형태이므로, 각 상태의 가치가 이전 상태에만 의존한다. 이 경우 LSTD가 정확히 MVU와 일치함을 증명한다. LSTD는 선형 시스템을 풀어 가치 함수를 직접 추정하는데, 비순환 구조에서는 편향이 전혀 발생하지 않는다. 둘째, 순환(cyclic) MRP에서는 LSTD가 시스템 행렬의 역을 근사하면서 샘플링 편차와 초기값 의존성으로 인해 편향이 도입된다. 저자는 특정 순환 구조(예: 단일 루프, 비대칭 전이 확률)에서 LSTD가 MVU보다 큰 위험을 갖는 구체적인 사례를 제시한다. 셋째, MC(몬테카를로) 추정기는 에피소드 전체 보상을 평균내는 방식으로, 할인되지 않은 MRP에서는 모든 상태가 동일한 측도(전체 경로 분포) 하에 평가되므로 MVU와 동일한 효율성을 가진다. 그러나 할인 계수가 0<γ<1인 경우, MC는 장기 보상에 대한 가중치를 과소평가하게 되어 MVU와 차이가 난다.

TD(Temporal Difference) 학습기에 대해서는 두 가지 중요한 결과가 도출된다. 비순환 MRP에서는 TD(λ=0) 업데이트가 실제 벨먼 방정식과 동일한 기대값을 갖기 때문에, 무편향성을 거의 유지한다. 하지만 순환 MRP에서는 TD 업데이트가 현재 추정값을 사용해 다음 상태의 가치에 대한 편향된 추정치를 삽입하게 되며, 이는 특히 높은 할인율과 짧은 에피소드 길이에서 크게 나타난다. 저자는 TD와 MC 사이에 일반적인 위험 순위가 존재하지 않음을 보이기 위해, 동일한 MRP에 대해 TD는 MC보다 위험이 작을 수도, 클 수도 있는 두 개의 반례를 제시한다.

마지막으로, 논문은 위험 순위에 대한 전반적인 정리를 시도한다. MVU는 모든 선형 추정기 중 최소 위험을 보장하지만, 비선형 혹은 제한된 정보(예: 샘플 수가 제한된 경우)에서는 LSTD, TD, MC가 각각 상황에 따라 더 나은 성능을 보일 수 있다. 따라서 알고리즘 선택은 MRP의 구조(순환 여부, 할인율), 사용 가능한 데이터 양, 계산 자원 등에 따라 달라져야 함을 강조한다.