실현가능과 비실현가능 시퀀스 예측 문제의 관계와 해법

초록

본 논문은 관측 시퀀스의 다음 값을 예측하는 두 경우—측정이 사전에 정의된 클래스 𝒞에 속한다는 실현가능 상황과, 측정이 완전히 임의이지만 성능을 𝒞에 대해 평가하는 비실현가능 상황—을 비교한다. 총변동거리 기준에서는 두 문제가 동등함을 보이고, 평균 KL 발산 기준에서는 차이가 있음을 증명한다. 또한 해법이 존재할 경우, 𝒞의 가산 부분집합에 대한 베이즈 혼합으로 구성할 수 있음을 제시한다. 유한 메모리 프로세스 집합에서는 비실현가능 해법이 존재하지만, 전체 정상 프로세스 집합에서는 존재하지 않는다.

상세 분석

이 논문은 확률 과정 μ가 생성하는 무한 시퀀스 x₁,x₂,…에 대해, 매 시점 t에서 다음 관측값 x_{t+1}의 조건부 확률을 예측하는 문제를 다룬다. 두 가지 상황을 구분한다. 첫 번째는 ‘실현가능( realizable)’ 경우로, μ가 미리 알려진 클래스 𝒞⊂𝒫(𝒳^ℕ) 안에 포함된다는 전제가 있다. 두 번째는 ‘비실현가능(non‑realizable)’ 경우로, μ는 어떠한 제한도 받지 않지만, 예측 성능을 𝒞에 속하는 어떤 기준 프로세스와 비교한다는 점이 특징이다. 성능 척도로는 (i) 총변동거리(total variation, TV)와 (ii) 기대 평균 KL 발산(Kullback‑Leibler divergence, KL) 두 가지를 사용한다.

TV 거리 기준에서는 두 문제의 해답이 완전히 일치한다는 강력한 결과가 증명된다. 구체적으로, 𝒞에 대한 TV‑일관적인 예측기(즉, 모든 μ∈𝒞에 대해 TV 거리의 누적합이 유한)와, 모든 μ에 대해 TV‑일관성을 유지하면서 𝒞에 대한 최적 성능을 달성하는 예측기 사이에 상호 변환이 가능함을 보인다. 이는 TV 거리의 강한 삼각 부등식과 마팅게일 성질을 활용한 증명이다.

반면 KL 발산을 사용하면 상황이 크게 달라진다. KL는 비대칭이며, 평균값이 무한대로 발산할 가능성이 있어, 실현가능 예측기와 비실현가능 예측기의 존재 조건이 서로 다르게 나타난다. 저자는 KL‑일관적인 예측기가 존재하려면 𝒞가 ‘예측 가능(predicable)’한 구조를 가져야 함을 보이며, 이를 위해 𝒞를 가산 부분집합으로 제한하고 해당 부분집합에 대한 베이즈 혼합을 구성한다. 이 혼합 예측기는 각 원소 μ_i∈𝒞에 대해 사전 가중치 w_i>0를 부여하고, 예측 확률을 Σ w_i μ_i(·|history) 형태로 정의한다. 중요한 점은, 이 베이즈 혼합이 KL‑일관성을 만족하려면 𝒞가 ‘전역적으로 절대 연속(absolute continuity)’ 관계를 가져야 한다는 것이다.

논문은 이러한 일반적인 조건을 구체적인 클래스에 적용한다. 유한 메모리(마코프) 프로세스 집합은 각 프로세스가 유한히 많은 과거만을 의존하므로, 모든 μ에 대해 KL‑일관적인 베이즈 혼합을 구성할 수 있다. 따라서 비실현가능 상황에서도 예측기가 존재한다. 반면 전체 정상(stationary) 프로세스 집합은 무한히 다양한 종속 구조를 포함하고, 일부 μ는 𝒞의 어떤 원소와도 절대 연속이 아니므로, KL‑일관적인 예측기를 일반적으로 만들 수 없다는 부정 결과를 얻는다.

이러한 결과는 예측 이론에서 ‘실현가능’과 ‘비실현가능’ 사이의 미묘한 차이를 명확히 보여준다. 특히, 성능 척도의 선택이 문제의 본질을 결정한다는 점을 강조한다. TV 거리에서는 두 경우가 동등하게 취급될 수 있지만, 정보 이론적 KL 거리에서는 클래스 𝒞의 구조적 특성이 해법 존재 여부를 좌우한다. 또한, 베이즈 혼합을 통한 가산 근사 방법은 실용적인 알고리즘 설계에도 직접적인 시사점을 제공한다.