시퀀스 커버를 이용한 컨텍스트 모델

초록

조건부 확률 측정을 위한 새로운 비모수 베이즈 프레임워크를 제안한다. 입력 공간을 여러 겹의 커버로 분할하고, 각 커버 집합에 독립적인 모델을 할당한 뒤, 정지 확률과 전이 확률을 이용한 랜덤 워크로 컨텍스트를 선택한다. 이 구조를 통해 조건부 밀도 추정과 가변 차수 마코프 모델을 포함한 다양한 문제를 정확하고 증분적으로, 다항식 시간 안에 베이즈 추론할 수 있다.

상세 분석

본 논문은 조건부 확률 분포 ψₜ(Y|xₜ₊₁)를 추정하기 위해 “시퀀스 커버(sequence of covers)”라는 새로운 구조적 개념을 도입한다. X∗(입력 시퀀스 전체 공간)를 여러 단계(k=1,2,… )에 걸쳐 커버 Cₖ로 덮으며, 각 커버는 서로 겹칠 수 있는 집합들의 모음이다. 각 집합 M∈Cₖ을 ‘컨텍스트’라 부르고, 해당 컨텍스트에 연결된 로컬 확률 모델 φ_M을 정의한다. 핵심 아이디어는 임의의 새로운 입력 xₜ₊₁에 대해, 어느 컨텍스트가 실제 모델링에 사용될지를 ‘정지 확률 w_M’와 ‘전이 확률 v_{M,N}’에 의해 결정되는 랜덤 워크로 선택한다는 점이다.

랜덤 워크는 가장 세밀한 커버(깊은 레벨)에서 시작해 상위 레벨로 이동하면서, 매 단계에서 정지 확률 w_M에 따라 현재 컨텍스트 M에서 관측 yₜ₊₁를 생성하거나, 전이 확률 v_{M,N}에 따라 더 일반적인 컨텍스트 N으로 이동한다. 이 과정은 마코프 체인 형태를 띠며, 정지 시점에 해당 φ_M(·|xₜ₊₁)에서 샘플을 뽑는다. 베이즈 관점에서 보면, 컨텍스트 맵 f와 로컬 모델 φ_M을 각각 사전분포(정지·전이 확률, 파라미터 사전) 위에 두고, 관측이 들어올 때마다 w와 v를 업데이트한다. 논문은 이를 위한 정확한 재귀식(식 9‑12)과 복잡도 분석을 제시한다.

특히, 커버 구조를 트리 형태(예: 접미사 트리, kd‑tree)로 설계하면 전이 확률이 단순해져 계산량이 컨텍스트 수에 선형에 가까워진다. 반면, 격자(lattice) 형태의 커버를 사용하면 더 풍부한 컨텍스트 관계를 모델링할 수 있지만, 복잡도는 ζ⁽ᵈ⁾ 형태의 기하급수적 증가를 보인다. 논문은 ζ가 작을 경우(예: 각 레벨에서 컨텍스트 수가 제한적)에도 전체 복잡도가 다항식 시간 안에 머무른다는 정리를 제시한다.

응용 측면에서는 두 가지 주요 사례를 다룬다. 첫째, 가변 차수 마코프 모델에서는 접미사 트리를 커버로 사용하고, 정지 확률만 존재해 기존 컨텍스트 트리 가중치 방법과 동일한 구조를 재현한다. 둘째, 조건부 밀도 추정에서는 kd‑tree 기반 커버를 이용해 연속형 입력 공간을 분할하고, 각 컨텍스트에 정규‑위시트(정규‑역행렬) 사전 또는 베이즈 트리 밀도 추정기를 배치한다. 이렇게 하면 조건부 밀도 ψₜ(y|x) 를 닫힌 형태로, 증분적으로 업데이트할 수 있다.

전체적으로 이 프레임워크는 (1) 비모수적이면서도 정확한 베이즈 추론, (2) 증분 학습 가능성, (3) 다양한 커버 설계에 대한 유연성을 제공한다는 점에서 기존 커널 기반 조건부 밀도 추정이나 고정 트리 모델을 능가한다. 또한, 정지·전이 확률을 학습 가능한 파라미터로 두어 데이터에 맞게 자동으로 컨텍스트 깊이를 조절할 수 있다는 장점도 있다.